💡 معمای نرخ یادگیری: چرا داده‌ها تعیین‌کننده هستند؟

محققان در مقاله جدیدی به سراغ یکی از مباحث بنیادی در آموزش شبکه‌های عصبی عمیق (Deep Scalar Linear Networks) رفته‌اند. این مطالعه نشان می‌دهد که برخلاف تصورات رایج، استفاده از قوانین کلی برای تعیین «نرخ یادگیری» (Learning Rate) همیشه بهینه نیست.

نتایج این تحقیق ثابت می‌کند که بهترین مقیاس برای نرخ یادگیری، به نوع داده‌های ورودی بستگی دارد و بدون توجه به ویژگی‌های داده، مدل‌ها نمی‌توانند به عملکردی پایدار در عمق‌های مختلف برسند. این یافته کلیدی، دریچه‌ای جدید برای بهینه‌سازی آموزش مدل‌های بسیار عمیق باز می‌کند تا سرعت همگرایی در آن‌ها ثابت و ایده‌آل باقی بماند.

منبع: arXiv Machine Learning