محققان در مقاله جدیدی روشی به نام «CARE» را معرفی کردهاند که نحوه تخصیص منابع در مدلهای MoE (ترکیب متخصصان) را به شکل هوشمندانهای تغییر میدهد.
در مدلهای فعلی، برای هر توکن تعداد ثابتی از متخصصان (Experts) فعال میشوند که باعث اتلاف منابع روی توکنهای ساده و کمبود ظرفیت برای توکنهای پیچیده میشود. CARE با استفاده از توزیع خروجی مدل، «میزان اطمینان» سیستم را تشخیص داده و تعداد متخصصان فعال را بر اساس سختی هر توکن تنظیم میکند.
✨ دستاوردهای این روش:
✅ افزایش کارایی و کاهش هزینههای محاسباتی (بدون نیاز به پارامترهای اضافه)
✅ بهبود دقت در مدلهای قدرتمندی مثل LLaMA-3.1 و Qwen2.5
✅ عملکرد عالی در تشخیص دادههای خارج از توزیع (OOD)
این روش یک گام رو به جلو برای اجرای مدلهای بزرگ با مصرف انرژی و توان پردازشی بهینهتر است.
منبع: arXiv Machine Learning