محققان در مقاله جدیدی با عنوان «On the Convergence of Adam, Revisited» نشان دادهاند که الگوریتم Adam و نسخههای مشابه آن (مانند AdamW، RMSProp و Muon) در شرایط خاصی از بهینهسازی آنلاین، دچار خطای میانگین غیرصفر میشوند. 📉
این مطالعه ثابت میکند که حتی با تنظیم پارامترهای مختلف، این مدلها همچنان با مشکلاتی در همگرایی مواجه هستند که میتواند بر کارایی آموزش مدلهای بزرگ هوش مصنوعی تأثیر بگذارد. این یافتهها برای متخصصان یادگیری ماشین بسیار حیاتی است، چرا که نشان میدهد محدودیتهای نظریِ عمیقتری در این ابزارهای پرکاربرد وجود دارد.
به نظر شما این نتایج میتواند مسیر توسعه بهینهسازهای آینده را تغییر دهد؟
منبع: arXiv Machine Learning