آیا میتوان به قضاوتِ خودِ مدلهای زبانی (LLM-as-a-Judge) برای بهبود خروجیها اعتماد کرد؟ مطالعه جدیدی روی «تشخیص جداول» نشان میدهد که این روش همیشه آنطور که تصور میکنیم کاربردی نیست.
محققان دریافتند که در بسیاری از موارد، هوش مصنوعی در ارزیابی و انتخاب بهترین خروجیها ضعیف عمل میکند و قابلیتِ «ارزیابی» به معنای «بهینهسازی بهتر» نیست. این تحقیق زنگ خطری برای توسعهدهندگانی است که از LLMها برای بازخورد و بهینهسازی مدلهای خود استفاده میکنند.
نتیجهگیری مهم: برای اصلاحات دقیق، صرفِ داشتن یک «داور هوشمند» کافی نیست و نیاز به ابزارهای نظارتی دقیقتر و ساختاریافته داریم. 💡
منبع: arXiv AI