آیا تا به حال با توقف یا «پلاتو» شدن یادگیری در الگوریتمهای تقویتشده (RL) مواجه شدهاید؟ محققان در پژوهشی تازه روی الگوریتم پرکاربرد PPO، علت اصلی این توقف را بررسی کردهاند.
نتایج نشان میدهد که مشکل نه از ضعف محاسباتی، بلکه از ناتوانی در تخمین دقیق هدف آموزشی در طول زمان است. این تیم با مدلسازی متفاوت از حلقه آموزش، به راهکار جذابی رسیدهاند: افزایش خیرهکننده محیطهای موازی (تا ۱ میلیون محیط) برای جمعآوری دادهها، بهجای پیچیدهتر کردن فرآیند بهینهسازی! 📈
این یافته یک گام بزرگ برای پایدارتر و هوشمندتر کردن آموزش ایجنتهاست و نشان میدهد گاهی «مقیاس» کلید حل گرههای پیچیده در یادگیری ماشین است.
منبع: arXiv Machine Learning