محققان در مقاله جدیدی به بررسی یک مشکل حیاتی در «ایجنتهای هوشمند» پرداختهاند. مسئله اینجاست: وقتی یک مدل هوش مصنوعی برای یادگیری مهارتهای جدید، مهارتهای ضعیف قبلیاش را کنار میگذارد، کاملاً به دقتِ «داور» (Judge) خود وابسته است.
مطالعه جدید نشان میدهد که اگر داور (که معمولاً یک LLM دیگر است) دچار سوگیری «پاسخِ اشتباه به عنوان پاسخ صحیح» (False-pass) شود، فرآیند حذف مهارتهای ناکارآمد کلاً متوقف میشود. این یعنی ایجنت شما بدون اینکه متوجه شوید، با مجموعهای از مهارتهای معیوب به کارش ادامه میدهد، بدون اینکه هیچ معیارِ عملکردی خاصی کاهشِ کیفیت را نشان دهد! این یک هشدار جدی برای توسعهدهندگانی است که روی ایجنتهای خودکار و خودتکاملیافته کار میکنند. 🤖💡
منبع: arXiv AI