یکی از بزرگترین چالشهای معماریهای فعلی هوش مصنوعی، کندی در پردازش متون طولانی است. محققان به تازگی چارچوب جدیدی به نام KATA (Kernelized Linear Attention Activations) معرفی کردهاند که به طور انقلابی بهرهوری «توجه خطی» (Linear Attention) را افزایش میدهد.
ویژگیهای کلیدی این دستاورد:
⚡️ سرعت خیرهکننده: افزایش ۱۱ برابری سرعت نسبت به FlashAttention-2 در پردازشهای سنگین (تا ۱۳۱ هزار توکن).
🧠 حافظه هوشمندتر: بهبود عملکرد در بازیابی اطلاعات و حفظ ارتباطات معنایی طولانی بدون اضافه کردن پارامترهای اضافی.
این نوآوری به مدلهای هوش مصنوعی اجازه میدهد تا در پردازشِ کتابها، مستندات طولانی و کدهای پیچیده، بسیار سریعتر و دقیقتر از گذشته عمل کنند. مسیری که میتواند آینده مدلهای Context-Long را تغییر دهد!
منبع: arXiv AI