مدلهای Mixture-of-Experts (MoE) به دلیل سوئیچ مداوم بین متخصصها، در دستگاههای لبه (Edge Devices) دچار کندی میشوند. محققان در پژوهشی جدید روش StickyMoE را معرفی کردهاند که با اضافه کردن یک «لوسِ سازگاری» در زمان آموزش، باعث میشود مدل در انتخاب متخصصها «چسبندگی» بیشتری داشته باشد.
نتایج این تحقیق نشان میدهد که این روش میتواند نرخ تعویض متخصصها را تا ۶۰٪ کاهش دهد، بدون اینکه افت چشمگیری در عملکرد مدل ایجاد شود. این یعنی اجرای روانتر و بهینهتر مدلهای بزرگ هوش مصنوعی روی سختافزارهای ضعیفتر! 🧠⚡️
منبع: arXiv AI