مدلهای زبانی بزرگ (LLM) به دلیل حجم بسیار زیاد، چالشهای حافظهای و پردازشی زیادی ایجاد میکنند. محققان به تازگی چارچوب نوآورانهای به نام LACE-SVD معرفی کردهاند که فشردهسازی مدلها را بدون افت کیفیت چشمگیر ممکن میسازد.
این روش با در نظر گرفتن حساسیت لایهها به افت دقت و اصلاح خطاهای تجمعی در حین فشردهسازی، عملکردی به مراتب بهتر از روشهای سنتی SVD ارائه میدهد. در آزمایشها، این متد توانسته مدل LLaMA-7B را با کارایی بسیار بالا فشرده کند که گامی بزرگ برای اجرای مدلهای قدرتمند روی سختافزارهای محدودتر است. 🧠💻
منبع: arXiv AI