محققان در مقالهای جدید، روشی نوآورانه برای بهبود «رمزگذاری موقعیتی» (Positional Encoding) در مدلهای زبانی معرفی کردهاند. روش جدید با نام Möbius RoPE از شرایط مرزی ضدتناوبی استفاده میکند که باعث میشود مدلها در «بازیابی متن از میان حجم انبوه دادهها» (Needle-in-a-Haystack) بسیار دقیقتر و قابلاعتمادتر عمل کنند.
نکته جالب اینجاست که این روش بدون افت چشمگیر در کیفیت پاسخدهی (Perplexity)، دقت بازیابی را به شکل قابل توجهی افزایش میدهد و به مدل کمک میکند روابط هندسی طولانیمدت را در متن بهتر درک کند. این پیشرفت میتواند گام بزرگی برای هوشمندتر شدن حافظه مدلهای زبانی در پردازش متون طولانی باشد. 🧠✨
منبع: arXiv NLP