محققان در مقاله جدیدی روش هوشمندانهای برای «هرس کردن ساختاریافته» (Structured Pruning) مدلهای بزرگ زبانی ارائه دادهاند. چالش اصلی در مدلهای فعلی این است که هرس کردن ساختاریافته معمولاً دقت مدل را کاهش میدهد، اما این روش جدید با استفاده از «تبدیل توان» و «تجمیع امتیازات حفظکننده علامت»، توانسته بدون افت دقت محسوس، سرعت اجرای مدلهایی مثل Llama-3 و LLaVA را به طرز چشمگیری افزایش دهد. این یعنی در آینده شاهد مدلهای سبکتر و سریعتری خواهیم بود که روی سختافزارهای ضعیفتر هم به راحتی اجرا میشوند. 💡
سازی
منبع: arXiv NLP
