محققان در پژوهشی جدید، روش خلاقانهای برای ارتقای عملکرد مکانیسم «توجه» (Attention) در مدلهای زبانی ارائه دادهاند. تکنیک جدید با عنوان «FourierQK»، از پیشپردازش طیفی (Spectral Preprocessing) در نقشههای Query و Key استفاده میکند.
نتایج این تحقیق نشان میدهد که با اعمال فیلترهای فرکانسی در حوزه طیفی، میتوان دقت مدل را در مدلسازی زبانی کاراکتر-محور به شکل قابلتوجهی افزایش داد؛ بهطوریکه این روش توانسته تا ۷۹ درصد کاهش خطا نسبت به روش استاندارد dot-product attention ایجاد کند! این دستاورد، دریچهای جدید به سوی معماریهای بهینهتر و سریعتر در دنیای مدلهای بزرگ زبانی باز میکند. 📈✨
منبع: arXiv Machine Learning