یکی از بزرگترین چالشهای مدلهای هوش مصنوعی، بهخاطر سپردن متنهای بسیار طولانی بدون افت کیفیت است. مدلهای فعلی یا با حافظه فشرده (SSM) دچار تداخل اطلاعات میشوند یا با روشهای پنجرهبندی (SWA) جزئیات را زود فراموش میکنند.
محققان در مقاله جدیدی از مدل «Raven» رونمایی کردهاند که با استفاده از «مسیریابی حافظه پراکنده» (Sparse Memory Routing)، فقط بخشهای کلیدی اطلاعات را در حافظه نگه میدارد. این یعنی:
✅ یادآوری فوقالعاده دقیق در متون بسیار طولانی
✅ عملکرد بهتر از مدلهای خطی مشابه
✅ پایداری حتی در پردازش متونی ۱۶ برابر طولانیتر از دادههای آموزشی
این نوآوری میتواند راه را برای نسل بعدی هوش مصنوعی که حافظهای بسیار طولانیتر و دقیقتر دارد، هموار کند! 🧠💡
منبع: arXiv AI