دنیای مدلهای زبانی بزرگ (LLM) که تحت سلطه ترنسفورمرهاست، با یک چالش همیشگی دستوپنج نرم میکند: «کارایی در پردازش متون بسیار طولانی». حالا محققان با معرفی ResonatorLM، رویکردی نوآورانه و الهامگرفته از فیزیک را جایگزین مکانیزم توجه (Attention) کردهاند.
این مدل با استفاده از توابع «رزوناتور میرا» (Damped Resonators)، توالیهای توکن را بهعنوان یک میدان واحد در نظر میگیرد. نتایج اولیه شگفتانگیز است:
✅ سرعت رمزگشایی (Decode) تا ۶.۵ برابر سریعتر از ترنسفورمرهای بهینه در طول ۳۲ هزار توکن.
✅ دقت بالاتر در بنچمارکهای متنی مانند WikiText نسبت به مدلهای مشابه.
این معماری میتواند راهگشای مدلهایی باشد که بدون نیاز به هزینههای سنگین محاسباتی، متون بسیار طولانی را با سرعت و دقت خیرهکننده پردازش میکنند. نظر شما چیست؟ آیا دوران «توجه» (Attention) به پایان میرسد؟
منبع: arXiv AI