مدلهای خطی (Linear RNNs) با وجود سرعت بالا، در به خاطر سپردن متنهای طولانی ضعف داشتند. حالا محققان با معرفی معماری جدید «Sparse Delta Memory» (SDM)، این مشکل را حل کردهاند!
این مدل با استفاده از یک سیستم آدرسدهی پراکنده (Sparse)، ظرفیت حافظه مدلهای RNN را به شکل چشمگیری افزایش داده و اجازه میدهد بدون نیاز به قدرت پردازشی سنگین، مدلها درک بهتری از متنهای طولانی و استدلالهای پیچیده داشته باشند. گامی مهم برای هوشمندتر شدن دستیارهای متنی در آینده! 🚀
منبع: arXiv Machine Learning