محققان در مقالهای جدید، روشی نوآورانه به نام «Multi-Role Rubric Generation» یا به اختصار MRRG معرفی کردهاند که تحولی در نحوه قضاوت و ارزیابیِ مدلهای هوش مصنوعی ایجاد میکند.
مشکل اصلی مدلهای فعلی، وجود نقاط کور در ارزیابیِ جنبههای مختلفِ ترجیحات انسانی است. سیستم MRRG با استفاده از چندین «نقش مکمل» (Roles)، معیارهای ارزیابی را از زوایای مختلف استخراج کرده و یک چارچوب داوریِ بسیار دقیق و قابلحسابرسی ایجاد میکند.
این ابزار نه تنها برای اعتبارسنجیِ ترجیحات انسانی عالی است، بلکه میتواند پاداشهای دقیقتری برای آموزشِ مدلها با روشهای یادگیری تقویتی (RLVR) فراهم کند که در نهایت منجر به تولید محتوای هوشمندتر و دقیقتر میشود. 🚀
منبع: arXiv Machine Learning
