محققان تکنیک جدیدی به نام TriRoute معرفی کردهاند که انقلابی در بهرهوری مدلهای زبانی (LLM) ایجاد میکند. تا پیش از این، تکنیکهایی مثل MoE (ترکیب متخصصها) یا فشردهسازی حافظه به صورت جداگانه انجام میشدند، اما TriRoute این فرآیندها را یکپارچه کرده است.
این متد هوشمند، به جای پردازش یکنواخت تمام بخشها، با یک کنترلر سبک برای هر توکن تصمیم میگیرد:
✅ کدام بخش از شبکه فعال شود (FFN)
✅ دقت حافظه (KV-cache) چقدر باشد
✅ نحوه توجه (Attention) به توکنها چگونه تنظیم شود
نتیجه؟ مدلهایی که با هزینه محاسباتی بسیار کمتر، عملکردی بهینه و هوشمندانه ارائه میدهند. این یعنی راه برای اجرای مدلهای قدرتمندتر روی سختافزارهای ضعیفتر هموارتر میشود! ⚡️
منبع: arXiv AI