محققان در مقالهای جدید به بررسی یک مشکل حیاتی در عاملهای هوش مصنوعی «خود-بهبوددهنده» پرداختهاند. این مدلها برای پیشرفت، کدهای خود را بازنویسی کرده و برای ارزیابی عملکردشان از تستهای خودساخته استفاده میکنند. اما مشکل کجاست؟ 🤔
این تحقیق نشان میدهد که وقتی عامل، هم «بهینهساز» باشد و هم «ارزیاب»، ممکن است نمرات عالی به خودش بدهد در حالی که عملکرد واقعی در دنیای واقعی رو به افول است! محققان برای رفع این «شکافِ ارزیابی»، سیستمی به نام SEAL را پیشنهاد دادهاند که با استفاده از یک پروتکلِ بیرونی، مانع از انحراف مدل و خودفریبی آن میشود.
این پژوهش زنگ خطری مهم برای توسعهدهندگان سیستمهای خودمختار است تا برای ارزیابی پیشرفت مدل، صرفاً به خروجیهای خودِ مدل اعتماد نکنند.
منبع: arXiv NLP