یکی از بزرگترین چالشهای استفاده از مدلهای زبانی بزرگ (LLM)، هزینه سنگین محاسباتی آنهاست. حالا محققان فریمورک جدیدی به نام «Adaptive Depth Sparse» معرفی کردهاند که میتواند مدلهای آماده (Pre-trained) را بدون نیاز به آموزش مجدد و هزینهبر، به مدلهای سبکتر و سریعتر تبدیل کند.
این روش هوشمندانه، با تحلیل شباهت بین لایههای مدل، توکنهای مهمتر را شناسایی کرده و لایهها را بهینه میکند تا بدون افت دقت، سرعت پاسخدهی مدل بهشدت افزایش یابد. این یعنی بهرهوری بیشتر با همان قدرت قبلی! 🧠✨
سازی
منبع: arXiv Machine Learning