آیا روشهای کلاسیک بهینهسازی مثل «SGD با مومنتوم» هنوز در برابر نویزهای شدیدِ دادههای دنیای واقعی حرفی برای گفتن دارند؟
محققان در مطالعه جدید خود برای اولین بار عملکرد این الگوریتم محبوب را بدون استفاده از تکنیکهای کمکی مثل «Gradient Clipping» یا «نرمالسازی» بررسی کردهاند.
نتایج نشان میدهد که اگرچه این روشها در شرایط خاص همچنان کارآمد هستند، اما در مواجهه با نویزهای سنگین (Heavy-tailed noise)، در مقایسه با روشهای مدرنتر، محدودیتهای ذاتی دارند. این پژوهش گامی مهم برای درک بهتر ریاضیاتِ پشت پرده آموزش مدلهای هوش مصنوعی است. 🧠
منبع: arXiv Machine Learning
