مدلهای Mixture-of-Experts (MoE) به دلیل کارایی بالا در مقیاسپذیری محبوب هستند، اما یک مشکل بزرگ دارند: مسیریابی (Routing) توکنها در آنها گاهی ناپایدار و غیردقیق است.
محققان در پژوهش جدید خود، راهکار نوآورانهای به نام «MCF-MOE» معرفی کردهاند. این مدل با ترکیب سیگنالهای معناییِ لایههای مختلف و تعاملات محلی، یک «زمینه کامل» (Context) برای انتخاب متخصص (Expert) ایجاد میکند.
نتیجه این کار؟ عملکرد بسیار بهتر و یکپارچهتر در مدلهای زبانی. اگر در حوزه طراحی معماریهای بهینه AI فعالیت میکنید، بررسی این متد جدید که در آرکایو منتشر شده، پیشنهاد میشود!
🔗 کد پروژه: https://anonymous.4open.science/r/MCFMOE
منبع: arXiv NLP