تا حالا با مشکل تنظیم نرخ یادگیری (Learning Rate) در آموزش مدلهای عمیق دستوپنج نرم کردهاید؟ محققان در مقالهای جدید، راهکار بسیار جالبی برای بهبود پایداری بهینهساز Adam معرفی کردهاند.
💡 نکته کلیدی این دستاورد چیست؟
این پژوهش نشان میدهد که میتوان با استفاده از یک جستجوی ساده (Armijo Backtracking) در همان ابتدای آموزش، میزان «تندی» (Sharpness) سطح خطا را تخمین زد. این کار باعث میشود یک «محافظ نرخ یادگیری» خودکار ایجاد شود که از واگرایی مدل جلوگیری میکند، بدون اینکه نیاز به تنظیمات پیچیده یا کالیبراسیونهای زمانبر داشته باشد.
نتایج نشان میدهد که این روش با هزینه محاسباتی بسیار ناچیز (حدود ۱ درصد)، مدل شما را در برابر انتخاب نرخ یادگیری بزرگ مقاوم میکند. یک گام رو به جلو برای آموزشهای پایدارتر و بیدردسرتر! 🔥
سازی
منبع: arXiv Machine Learning