مدلهای هوش مصنوعی برای مدیریت حافظه کاری (Working Memory) با چالشهای زیادی روبرو هستند. محققان به تازگی در مقالهای جدید، مسئله مدیریت حافظه را از زاویهای متفاوت بررسی کردهاند.
در این روش که RMM نام دارد، به جای تصمیمگیری لحظهای درباره حذف یا نگهداری اطلاعات، از تکنیک «هموارسازی با تأخیر ثابت» (Fixed-Lag Smoothing) استفاده میشود. این مدل با مشاهده کوتاهمدت آینده، تصمیم دقیقتری برای مدیریت KV Cache میگیرد.
نتایج نشان میدهد که اگرچه در محیطهای کنترلشده این روش عملکردی خیرهکننده دارد، اما در بنچمارکهای واقعی، رقابت با روشهایی مثل H2O همچنان بسیار نزدیک و چالشبرانگیز است. قدمی کوچک اما مهم برای کارآمدتر کردن مدلهای بزرگ زبانی در آینده! 🚀
منبع: arXiv AI