🧠 آیا «مومنتوم» همیشه بهترین انتخاب برای آموزش مدل‌های هوش مصنوعی است؟

محققان در یک پژوهش تئوریک جدید، چالش جالبی را مطرح کرده‌اند: برخلاف تصور رایج، استفاده از «مومنتوم» (Momentum) در بهینه‌سازی مدل‌ها همیشه به سود ما نیست! 📉

بر اساس این مطالعه، در محیط‌های متغیر (Nonstationary)، استفاده از این تکنیک می‌تواند باعث ایجاد تأخیر سیستماتیک در یادگیری مدل شود. به زبان ساده، در شرایطی که داده‌ها به طور مداوم تغییر می‌کنند، SGD ساده (Vanilla SGD) نه تنها سریع‌تر نیست، بلکه در برخی موارد دقت بالاتری نسبت به نسخه‌های شتاب‌دهنده (Accelerated SGD) از خود نشان می‌دهد. این تحقیق مرزهای جدیدی را برای انتخاب بهینه‌ساز مناسب در پروژه‌های یادگیری ماشین تعیین کرده است. 🔍

منبع: arXiv Machine Learning