مدلهای زبانی بزرگ (LLM) وقتی پای پردازش متنهای طولانی به میان میآید، با چالش «حافظه KV» روبرو میشوند که سرعت و کارایی را بهشدت کاهش میدهد. حالا محققان روش جدیدی به نام IndexMem معرفی کردهاند که انقلابی در این زمینه ایجاد میکند!
این روش هوشمندانه با دو تکنیک عمل میکند:
۱. استفاده از یک ایندکسر یادگیرنده برای تشخیص توکنهای مهم و نگهداری آنها.
۲. یک ماژول حافظه پنهان (Latent Memory) که اطلاعات توکنهای حذف شده را فشرده کرده تا مدل دچار «فراموشی» نشود.
نتیجه؟ کارایی فوقالعاده در پردازش متنهای طولانی (Long-Context) بدون نیاز به حافظه نجومی! این روش روی مدلهایی مثل Qwen و Llama تست شده و نتایج خیرهکنندهای در بازیابی اطلاعات ثبت کرده است.
منبع: arXiv AI