یکی از بزرگترین چالشهای دنیای هوش مصنوعی، سنگین بودن مدلهای زبانی (LLMs) و هزینه بالای اجرای آنهاست. محققان به تازگی روشی به نام «TriSP» معرفی کردهاند که میتواند مدلهای بزرگ را بدون افت محسوس عملکرد، به شکل چشمگیری بهینه و کوچک کند!
💡 چرا این خبر مهم است؟
روش TriSP با ترکیب هوشمندانه وزنها، گرادیانها و فعالسازها، اجازه میدهد مدلهایی مثل LLaMA-7B با حجم کمتر، بسیار سریعتر اجرا شوند (تا ۸۲٪ افزایش سرعت در ۵۰٪ هرس مدل). این یعنی در آینده نه چندان دور، اجرای مدلهای قدرتمند روی سختافزارهای معمولی بسیار آسانتر خواهد شد.
منبع: arXiv AI