محققان در مقالهای جدید از روش نوآورانه EPnG رونمایی کردهاند که انقلابی در نحوه تنظیم دقیق (Fine-tuning) مدلهای Mixture-of-Experts (MoE) ایجاد میکند.
✅ چرا این خبر مهم است؟
روشهای فعلی مانند LoRA در مدلهای MoE چندان بهینه نیستند، اما EPnG با تحلیل هوشمندانه ترافیک مسیریابی (Routing)، تخصصِ «کارشناسان» (Experts) مدل را به صورت خودکار pruned و expand میکند.
نتیجه؟ این متد جدید با آپدیت کردن تنها ۰.۵۵ تا ۰.۷۲ درصد از پارامترها، عملکردی مشابه با تنظیم دقیق کامل کل مدل ارائه میدهد که تا ۱۸۰ برابر بهینهتر از روشهای معمول است. این یعنی کاهش هزینههای سنگینِ آموزش مدلهای بزرگ بدون افت کیفیت!
منبع: arXiv AI
