محققان در پژوهش جدیدی به سراغ یکی از نقاط ضعف اصلی یادگیری تقویتی (RL) در آموزش مدلهای هوش مصنوعی رفتهاند. مشکل اینجاست که در روشهای فعلی، مدلها صرفاً بر اساس پاداشهای محلی بهروزرسانی میشوند، بدون اینکه تضمینی وجود داشته باشد که عملکرد کلی آنها در واقع بهبود یافته است.
با معرفی روش PIRL (Policy Improvement Reinforcement Learning) و فریمورک PIPO، این مشکل حل شده است! این سیستم جدید با بررسی «بازخورد بهبود»، به طور مداوم کیفیت بهروزرسانیها را ارزیابی کرده و فقط تغییراتی که واقعاً باعث پیشرفت مدل میشوند را تثبیت میکند.
این نوآوری گام بزرگی برای رسیدن به LLMهای دقیقتر و کارآمدتر است که کمتر دچار خطای ناشی از نویز در دادههای آموزشی میشوند.
منبع: arXiv Machine Learning