تا به حال فکر کردهاید که چرا ارزیابی مدلهای زبانی (LLM-as-a-judge) انقدر هزینهبر و کند است؟ محققان در مقاله جدیدی راهکاری خلاقانه به نام «تقطیر برنامه» (Program Distillation) ارائه کردهاند.
در سیستم جدید PAJAMA، به جای اینکه هر بار از مدلهای سنگین برای قضاوت استفاده کنیم، منطق تصمیمگیری آنها را به مجموعهای از «برنامههای کامپیوتری» تبدیل میکنیم. این یعنی:
✅ حذف هزینههای سنگین API برای هر نمونه.
✅ شفافیت کامل در نحوه امتیازدهی (چون بر پایه کد است، نه جعبه سیاه!).
✅ سرعت و دقت فوقالعاده بالا.
این مدل ثابت کرده که میتواند عملکردی در حد مدلهای ۱۳ میلیاردی داشته باشد و برای آموزش مدلهای پاداش (Reward Models) هم بسیار به صرفهتر عمل میکند. تحولی بزرگ در مسیر کاهش هزینههای زیرساختی هوش مصنوعی! 💡💻
نویسی
منبع: arXiv Machine Learning