محققان در مقاله جدیدی به بررسی چالش کلاسیک «گرادیان نزولی» (Gradient Descent) در آموزش شبکههای عصبی پرداختهاند. برخلاف تصورات قبلی که نرخ یادگیری بالا را در نزدیکی کمینههای مسطح (Flat Minima) مشکلساز میدانستند، این تحقیق با تعمیم تئوریهای موجود به خروجیهای برداری و منیفولدها، راهکارهای جدیدی برای تحلیل همگرایی در مدلهای پیچیده (مانند فاکتورگیری ماتریسی) ارائه میدهد. این دستاورد فنی، دید عمیقتری به نحوه رفتار مدلهای بزرگ در طول آموزش میدهد که برای توسعهدهندگان و محققان این حوزه بسیار حائز اهمیت است. 🧠✨
سازی
منبع: arXiv Machine Learning
