یکی از بزرگترین چالشهای دنیای هوش مصنوعی، سنگین بودن مدلهای زبانی بزرگ (LLM) است. محققان به تازگی روش نوآورانهای به نام «GFWSVD» معرفی کردهاند که فشردهسازی مدلها را به سطح جدیدی برده است.
💡 چرا این روش مهم است؟
برخلاف روشهای سنتی که فقط بر تقریبهای قطری ماتریس «فیشر» تمرکز میکردند، GFWSVD با در نظر گرفتن همبستگیهای بین پارامترها (عناصر خارج از قطر اصلی)، دقت مدل را هنگام فشردهسازی حفظ میکند. نتایج نشان میدهد که این متد جدید، عملکرد مدلها را نسبت به روشهای مشابهی مثل SVD-LLM یا ASVD به طرز چشمگیری بهبود میبخشد.
این یعنی در آینده نزدیک میتوانیم مدلهای قدرتمندتری را با منابع سختافزاری کمتر اجرا کنیم! 🔥
سازی سازی
منبع: arXiv Machine Learning