همانطور که میدانید، استفاده از «داورهای هوش مصنوعی» برای ارزیابی مدلهای جدید بسیار سریع و کمهزینه است، اما مشکل اینجاست که این داورها گاهی سوگیری (Bias) دارند و نتایج را دقیق نشان نمیدهند. 🧐
محققان بهتازگی راهکار جدیدی به نام «BACON» معرفی کردهاند که با ترکیب داوری هوش مصنوعی و مقدار کمی نظارت انسانی (Human Calibration)، دقت ارزیابی را به شدت بالا میبرد. در واقع، این روش به جای اعتماد مطلق به هوش مصنوعی، از نظارت انسانی به عنوان یک «لنگر» برای اصلاح خطاهای مدل استفاده میکند تا خروجی نهایی قابلاعتمادتر و دقیقتر باشد. ⚖️✨
این نوآوری میتواند گام بزرگی برای رتبهبندی دقیقتر مدلهای زبانی و کاهش خطاهای تصمیمگیری در سیستمهای هوش مصنوعی باشد.
منبع: arXiv Machine Learning