محققان در پژوهشی جدید موفق شدند با معرفی یک واحد پردازشِ قابلتنظیم به نام «Ventaglio»، سرعت اجرای مدلهای زبانی بزرگ (مثل LLaMA-3) را تا ۷ برابر افزایش دهند.
این نوآوری با تمرکز بر «پراکندهسازی» (Sparsity) در محاسبات تنسوری و بهینهسازی معماری سختافزاری، مشکل رایج کُندی در پردازندههای برداری را حل کرده است. این یعنی در آینده نه چندان دور، اجرای مدلهای قدرتمند هوش مصنوعی روی سختافزارهای بهینهتر، سریعتر و کممصرفتر انجام خواهد شد. ⚡️
منبع: arXiv AI