بسیاری از توسعهدهندگان از مدلهای زبانی (LLM) به عنوان «داور» برای مقایسه خروجیهای مختلف استفاده میکنند. اما آیا این داورها واقعاً منصفانه قضاوت میکنند یا فقط تحت تأثیر فرمت و طول متن هستند؟
پژوهش جدیدی در arXiv نشان میدهد که حذف سوگیری (Debiasing) از این داورهای هوش مصنوعی پیچیدهتر از چیزی است که فکر میکنیم! این مطالعه اثبات میکند که روشهای فعلی برای شناسایی و حذف سوگیری با دادههای مقایسهای زوجی (Pairwise) به درستی کار نمیکنند.
✅ نکات کلیدی این پژوهش:
• سوگیری و کیفیت در مدلها به هم گره خوردهاند و به راحتی قابل تفکیک نیستند.
• این مقاله «لنگرهای قابل اعتماد» و «طراحی رندرینگ جفتشده» را به عنوان راهکارهای جایگزین برای داوری دقیقتر معرفی میکند.
اگر در حال ساخت سیستمهای ارزیابی خودکار با LLMها هستید، این مقاله یک هشدار مهم برای افزایش دقت بنچمارکهای شماست!
منبع: arXiv Machine Learning