محققان به تازگی خانوادهای از بهینهسازهای جدید به نام Muse را معرفی کردهاند که برای بهبود کارایی آموزش مدلهای هوش مصنوعی (مانند LLaMA) طراحی شده است. 🧠
این متد که بر پایه بهینهسازهای نوع Muon توسعه یافته، با تمرکز بر هندسه نمایش پارامترها، به مدل کمک میکند در فرآیند آموزش، پایداری و دقت بالاتری داشته باشد. نتیجه این تحقیق نشان میدهد که تنظیم درست هندسه در لایههای مدل میتواند عملکرد آموزش را بدون نیاز به محاسبات سنگین اضافه، بهبود چشمگیری ببخشد. 📈
این پیشرفتها گام مهمی در جهت آموزش بهینهتر و سریعتر مدلهای زبانی بزرگ (LLMs) محسوب میشود.
سازی
منبع: arXiv Machine Learning