🔍 چالش داوری توسط هوش مصنوعی: وقتی قاضی عوض می‌شود، نتیجه هم تغییر می‌کند!

تا حالا به این فکر کردید که چقدر می‌توان به قضاوتِ خودِ مدل‌های هوش مصنوعی (LLM-as-a-judge) اعتماد کرد؟ یک پژوهش جدید نشان داده که اگر داور (مدلِ ارزیاب) را عوض کنید، حتی با وجود پاسخ‌های یکسان، نمره نهایی تغییر می‌کند! 🧐

محققان در این مطالعه بررسی کردند که ارتقای مدل‌های قاضی، همیشه به معنای دقت بالاتر نیست. آن‌ها دریافتند که:
🔹 ارتقای مدل‌ها همیشه نتیجه را بهبود نمی‌دهد.
🔹 سوگیری‌های مربوط به طول پاسخ و موقعیت متن، همچنان پابرجاست.
🔹 پیشنهاد شده که برای گزارش‌های علمی، حتماً «ردپای حسابرسی» (Audit Trail) و جزئیات دقیق‌تری از فرآیند ارزیابی ارائه شود.

این تحقیق هشدار می‌دهد که در دنیای توسعه مدل‌های زبانی، باید نگاه دقیق‌تری به بنچمارک‌ها و روش‌های ارزیابی داشته باشیم تا فریبِ نتایج ظاهری را نخوریم.

منبع: arXiv NLP