مدتی است که از بهینهساز «Muon» به عنوان یک رقیب جدی برای AdamW در آموزش مدلهای زبانی بزرگ یاد میشود. اما نتایج یک تحقیق جدید که به تازگی در arXiv منتشر شده، نگاه دقیقتری به این موضوع دارد.
پژوهشگران با بررسی عملکرد Muon در مسئله کلاسیک «تجزیه ماتریس» (Matrix Factorization)، متوجه شدند که این بهینهساز لزوماً همیشه بهتر از AdamW عمل نمیکند و بسیاری از برتریهای گزارش شده، به شدت به تنظیمات فراپارامترها وابسته است. این مطالعه یادآوری مهمی است که برای ارزیابی ابزارهای هوش مصنوعی، نباید تنها به معیارهای نهایی تکیه کرد و تحلیل در محیطهای کنترلشده هم بسیار حیاتی است.
سازی
منبع: arXiv AI