محققان در مقالهای جدید به سراغ بهبود روشهای بهینهسازی برای مدلهای هوش مصنوعی رفتهاند. آنها با ترکیب دو تکنیک «Sharpness-Aware Minimization» (SAM) و «Muon»، متد جدیدی ابداع کردهاند که به مدلها کمک میکند در مواجهه با دادههای پیچیده، عملکرد بسیار پایدارتر و دقیقتری داشته باشند. 🧠
این روش با بهرهگیری از ساختار ماتریسی وزنها در لایههای مدل و استفاده از یک گام «طیفی» (spectral) در مرحله بهینهسازی، توانسته است در بنچمارکهای مهمی مثل ImageNet-1K، دقتِ بیشتری را روی مدلهایی مثل ViT و ResNet ثبت کند. این پیشرفت میتواند در آینده به آموزش مدلهای بزرگ با بازدهی بالاتر کمک کند. 📈
سازی
منبع: arXiv Machine Learning