محققان در مقاله جدید خود، تکنیک نوآورانهای به نام «SLORR» را معرفی کردهاند که بدون تغییر در معماری مدل یا کاهش دقت، باعث فشردهسازی بسیار بهتر وزنهای شبکه میشود.
ویژگیهای کلیدی SLORR:
✅ سازگاری بالا با معماریهای فعلی
✅ بدون نیاز به محاسبات سنگین (مانند SVD)
✅ سربار آموزشی بسیار ناچیز (کمتر از ۱٪ در مدلهای زبانی)
این روش که روی مدلهای بزرگی مثل ViT و LLMها تست شده، به ما اجازه میدهد مدلهایی سبکتر و کارآمدتر داشته باشیم که در عین حال کیفیت عملکرد خود را به خوبی حفظ میکنند. گامی مهم برای اجرای مدلهای قدرتمند روی سختافزارهای ضعیفتر! 💻🔥
سازی
منبع: arXiv Machine Learning
