مدلهای بزرگ زبانی از نوع Mixture-of-Experts (MoE) به دلیل سنگین بودن، همیشه چالش بزرگی برای اجرا داشتند. اما محققان با معرفی فریمورک «MAESTRO» راهکاری خلاقانه برای هرس کردن (Pruning) این مدلها پیدا کردهاند.
تکنیک جدید MAESTRO با استفاده از «زنجیرههای مارکوف»، وابستگیهای بین لایهها را تحلیل میکند تا بتواند متخصصهای غیرضروری را حذف کند. نتیجه؟ مدلهایی با ۵۰٪ حجم کمتر که بدون افت کیفیت و با عملکردی پایدارتر در وظایف مختلف اجرا میشوند. این یعنی مسیر تازهای برای اجرای مدلهای قدرتمند روی سختافزارهای محدودتر! 🧠✨
منبع: arXiv NLP
