خبر خوب برای علاقهمندان به دنیای مدلهای زبانی (LM)! محققان در مقالهای جدید، روشی نوآورانه به نام MoNIM برای حل مشکل حافظه در مدلهای نیمهپارامتریک ارائه کردهاند.
💡 این مدل چطور کار میکند؟
بهجای اینکه حافظه مدلهای زبانی تنها یک فضای ذخیرهسازی ثابت باشد، MoNIM آن را به یک «حافظه القایی» یادگیرنده تبدیل میکند که مستقیماً در جریان اطلاعات مدل قرار میگیرد. این ساختار مشابه لایههای FFN در ترنسفورمرها عمل کرده و به مدل اجازه میدهد دانش جدید را با کارایی بسیار بالاتری یاد بگیرد و بهصورت مستمر رشد کند.
این دستاورد گام بزرگی برای افزایش مقیاسپذیری و دقت مدلهای هوش مصنوعی در یادگیری طولانیمدت است.
منبع: arXiv Machine Learning