مدلهای بزرگ زبانی (LLM) با معماری «ترکیب کارشناسان» (MoE) پادشاهان فعلی دنیای هوش مصنوعی هستند، اما اجرای آنها همیشه با چالشهای سنگینی مثل کندی حافظه و ترافیک داده مواجه بوده است.
محققان در یک پژوهش جدید، معماری سهبعدی نوآورانهای به نام ThAME معرفی کردهاند که با ترکیب فناوریهای پیشرفته حافظه (مثل FeFET) و طراحی خاص شبکه روی تراشه، توانسته است عملکرد اجرای مدلهای MoE را تا ۱۵.۷ برابر سریعتر و ۹.۸ برابر بهینهتر از سختافزارهای فعلی کند! این یعنی راه برای اجرای مدلهای عظیمتر روی سختافزارهای کممصرفتر هموارتر شد.
منبع: arXiv AI