محققان روش جدیدی به نام RRPO (Reference-Relative Policy Optimization) معرفی کردند که می‌تواند انقلابی در بهینه‌سازی مدل‌های هوش مصنوعی ایجاد کند. تا پیش از این، روش GRPO برای مدل‌هایی که پاسخ‌های قابل راستی‌آزمایی داشتند عالی عمل می‌کرد، اما در بسیاری از وظایفِ خلاقانه که پاسخ «درست یا غلط» ندارند، به بن‌بست می‌خورد.
حالا RRPO با استفاده از «رول‌اوت‌های شرطی طبقه‌بندی شده»، مدل را قادر می‌سازد بدون نیاز به دیتای برچسب‌گذاری شده یا ناظر انسانی، بر اساس مقایسه‌های نسبی (Contrastive comparisons) یاد بگیرد. به زبان ساده‌تر، مدل یاد می‌گیرد که خروجی‌های بهتر را نسبت به «انکرهای» مرجع تشخیص دهد.
نتایج اولیه نشان می‌دهد که این روش نه تنها در کارهای منطقی، بلکه در تولید متن‌های خلاقانه هم عملکرد خیره‌کننده‌ای دارد و می‌تواند جایگزینی قدرتمند برای روش‌های نظارت‌شده فعلی باشد. این یعنی مسیر رسیدن به مدل‌های باهوش‌تر و دقیق‌تر کوتاه‌تر شده است!
منبع: arXiv AI