محققان در یک پژوهش تازه، راهکار نوآورانهای برای «تنظیم دقیق» (Fine-tuning) مدلهای Mixture-of-Experts (MoE) ارائه دادند. تا پیش از این، روشهای موجود برای تنظیم این مدلها یا کارایی کمی داشتند و یا در یادگیری تخصصهای خاص دچار چالش میشدند.
روش جدید «MoE²-LoRA» با ترکیب هوشمندانه ساختار LoRA و مکانیسم مسیریابی متخصصها، اجازه میدهد مدلها بدون از دست دادن دانش قبلی، با دقت بسیار بالاتر و بهینهتر برای کارهای مختلف آموزش ببینند. این یعنی مدلهای زبانی بزرگ نه تنها سریعتر، بلکه هوشمندتر از همیشه عمل خواهند کرد! 🤖💡
منبع: arXiv NLP