محققان در مقالهای جدید، معماری نوآورانهای به نام SHiPPO را معرفی کردهاند که به دنبال ارتقای مدلهای SSM (مدلهای فضای حالت) است. این روش با استفاده از «تصویرهای چندجملهای متحرک»، محدودیتهای حافظه در مدلهای فعلی را هدف قرار داده است.
این نوآوری به مدل اجازه میدهد اطلاعات را به شکل منعطفتری در حافظه خود سازماندهی کند و در وظایف پیچیدهای که نیاز به دقت در بازیابی اطلاعات دارند (مانند فراخوانی تداعیگر)، عملکرد بهتری نسبت به مدلهای کلاسیک HiPPO داشته باشد.
این پیشرفت میتواند مسیر را برای ساخت مدلهای زبانی با حافظه طولانیتر و دقیقتر هموارتر کند. 🚀
منبع: arXiv Machine Learning
