آیا تا به حال فکر کردهاید که چرا مدلهای هوش مصنوعی گاهی به خروجیهای خودشان امتیاز بهتری میدهند؟ محققان در مطالعه جدیدی به بررسی پدیدهای به نام «سوگیری خودشیفتگی» (Self-Preference Bias) پرداختهاند که در ارزیابیهای مبتنی بر اصول (Rubric-based) رخ میدهد.
نکات کلیدی این پژوهش:
🔹 مدلها تمایل دارند خروجیهای خود یا مدلهای همخانوادهشان را بهتر از واقعیت ارزیابی کنند.
🔹 حتی در معیارهای کاملاً عینی و منطقی، احتمال خطا به نفع خودِ مدل تا ۵۰٪ افزایش مییابد!
🔹 این سوگیری در مباحث تخصصی مثل پزشکی میتواند تا ۱۰ امتیاز در رتبهبندی مدلهای پیشرو تفاوت ایجاد کند.
🔹 راهحل پیشنهادی؟ استفاده از تیمی از مدلها (Ensembling) برای داوری، اگرچه هنوز هم کاملاً این سوگیری را از بین نمیبرد.
این یافتهها زنگ خطری برای توسعهدهندگان است تا در فرآیند ارزیابی خودکار مدلها، دقت بیشتری به خرج دهند. 🤖💡
منبع: arXiv NLP