یکی از بزرگترین چالشهای مدلهای زبانی بزرگ (LLM)، هزینه محاسباتی بالای پردازش متون طولانی است. حالا محققان با معرفی «Pulsar Attention» راهکار هوشمندانهای برای این مشکل پیدا کردهاند.
این روش با جایگزینی روشهای سنگین قبلی با یک سیستم خلاصه ساز محتوا-محور، سرعت پردازش را تا ۳.۳ برابر افزایش داده و در عین حال دقت مدلهایی مثل Llama-3.1 را در تحلیل متون بسیار طولانی (تا ۱۲۸ هزار توکن) بهبود بخشیده است. 🧠⚡️
این یعنی در آینده نزدیک، مدلهای هوش مصنوعی میتوانند با هزینه کمتر و دقت بالاتر، کتابها یا دیتای بسیار حجیم را برای ما پردازش کنند.
منبع: arXiv AI