محققان در یک پژوهش جدید، پرده از راز یکی از پیچیدهترین بخشهای مدلهای زبانی Mixture-of-Experts (MoE) برداشتند. تا امروز مسیریابی این مدلها یک «جعبه سیاه» بود، اما حالا مشخص شده که این مدلها از منطق «کدگذاری هافمن» برای تخصیص منابع استفاده میکنند.
نکات کلیدی این دستاورد:
🔹 مدلها برای کلمات پرتکرار از مسیرهای ساده و برای کارهای پیچیده (در زنجیره تفکر) از مسیرهای تخصصیتر استفاده میکنند.
🔹 محققان روشی به نام «Subset Difference Pruning» را معرفی کردند که با حذف مسیرهای زائد، هوشمندی مدل را بدون کاهش دقت افزایش میدهد.
🔹 این کشف مسیر را برای ساخت نسل بعدی مدلهای MoE با بهینهسازی بسیار بالاتر هموار میکند.
این پیشرفت علمی نشان میدهد که هوش مصنوعی چقدر به سمت بهینهسازیهای ریاضی محض حرکت میکند تا مثل مغز انسان، انرژی را هوشمندانه مصرف کند.
منبع: arXiv AI