یکی از بزرگترین چالشهای فعلی در کار با مدلهای زبانی بزرگ (LLM)، ضعف آنها در حفظ اطلاعات طولانیمدت و مشکل «بازنویسی» حافظه است. محققان در یک مقاله جدید، راهکار هوشمندانهای به نام MHM (حافظه چند-سره) پیشنهاد دادهاند.
💡 نکته کلیدی: در مدلهای فعلی، حافظه به صورت یک بلوک یکپارچه است که باعث میشود با دریافت دادههای جدید، اطلاعات قدیمی پاک شوند. معماری جدید با تقسیم حافظه به بخشهای مستقل (Heads)، اجازه میدهد فقط یک بخش بهروزرسانی شود و سایر بخشها از خطر پاک شدن مصون بمانند.
این روش که تحت عنوان MHM-LRU معرفی شده، در پردازش متنهای بسیار طولانی (حتی تا ۱ میلیون توکن) عملکردی بسیار پایدارتر و دقیقتر نسبت به روشهای فعلی دارد. گامی رو به جلو برای ایجنتهایی که نیاز به حافظه بلندمدت و قابلاطمینان دارند! 🧠✨
منبع: arXiv AI
