یکی از بزرگترین چالشهای دنیای هوش مصنوعی، محدودیت حافظه در پردازش متون طولانی (Long-context) است. مدلهای فعلی با افزایش طول متن، هزینههای پردازشیشان به شدت بالا میرود.
تیم تحقیقاتی Kwai در مقاله جدید خود به سراغ یک راهکار متفاوت رفته است: به جای حذف کامل KV Cache (حافظه کلید-مقدار)، آنها از روش «فشردهسازی معنایی» با نسبت مشخص استفاده میکنند. این رویکرد به مدل اجازه میدهد بدون نیاز به حافظه نجومی، اطلاعات دوردست را با دقت بسیار بالاتری به خاطر بسپارد و درک بهتری از متنهای طولانی داشته باشد. 🧠✨
این یعنی در آینده نزدیک، مدلهای هوش مصنوعی میتوانند کتابها و کدهای چند هزار خطی را با سرعت و هوشمندی بیشتری تحلیل کنند!
منبع: arXiv AI