دانشمندان در مقاله جدیدی به بررسی عمیق رفتار «گرادیان کاهشی تصادفی» (SGD) در مواجهه با نقاط کمینه تخت (Flat Minima) پرداختهاند. برخلاف باورهای قدیمی که محدود به مسائل محدب ساده بودند، این مطالعه نشان میدهد که چگونه تغییرات کوچک در گامهای یادگیری، نحوه همگرایی مدلها را در شرایط پیچیده تغییر میدهد. این یافتهها درک ما را از پایداری و عملکرد شبکههای عصبی عمیق در ابعاد مختلف ارتقا میدهد. 🧠✨
سازی
منبع: arXiv Machine Learning