محققان در یک پژوهش جدید، تکنیک نوآورانهای به نام «Self-Routing» معرفی کردهاند که نیاز به لایه «روتر» در مدلهای Mixture-of-Experts (MoE) را از بین میبرد.
تا پیش از این، مدلهای MoE برای هدایت دادهها به سمت متخصصان (Experts) به یک روترِ آموزشدیده نیاز داشتند، اما در روش جدید، مدل مستقیماً از فضای نهان (hidden states) برای این کار استفاده میکند. نتیجه؟ کارایی مشابه با مدلهای قبلی، اما بدون نیاز به پارامترهای اضافی و با توزیع بار بسیار متوازنتر! این یعنی مدلهای هوش مصنوعی سبکتر و بهینهتر از همیشه. ⚡️
منبع: arXiv AI