مدیریت حافظه در مدلهای زبانی بزرگ (LLMs) همیشه یکی از چالشهای اصلی برای اجرای روان آنها بوده است. اخیراً محققان در مقالهای جدید نشان دادند که روشهای فعلی فشردهسازی «کش KV» (KV Cache) در برخورد با دادههای ساختاریافته مثل JSON دچار خطا میشوند و به جای حفظ محتوای مفید، نویزها را ذخیره میکنند.
این مطالعه با معرفی یک رویکرد «شرطیسازی بر اساس نقش»، توانسته دقت مدل را در بودجههای حافظه محدود به شدت افزایش دهد. به زبان ساده، سیستم جدید یاد گرفته که به جای ذخیره بیهدف تمام توکنها، روی بخشهای کلیدی تمرکز کند تا مدل در زمان اجرا (Inference) هم سریعتر باشد و هم دقیقتر عمل کند.
این پیشرفت میتواند راه را برای اجرای مدلهای قدرتمندتر روی سختافزارهای ضعیفتر هموار کند! 🚀
منبع: arXiv AI