یکی از بزرگترین چالشهای مدلهای زبانی بزرگ (LLM) در پردازش متنهای طولانی، مصرف بالای حافظه برای کشِ کلید-مقدار (KV-Cache) است. حالا محققان روشی نوآورانه به نام «Fractal KV-Cache» ارائه کردهاند که با استفاده از کدهای نگاشت تکراری، این کش را به صورت نمادین فشرده میکند.
ویژگیهای کلیدی این روش:
✅ کاهش ۳۶ تا ۵۴ درصدی حجم حافظه اشغال شده توسط کش
✅ امکان جستجوی سریع در حافظه (بدون نیاز به بازسازی)
✅ اجرای خطی و دسترسی تصادفی به دادهها
این تحقیق نشان میدهد که چگونه میتوان با تکنیکهای فشردهسازی هوشمند، مدلهای زبانی را برای پردازشهای طولانیمدت بهینهتر و سریعتر کرد. قدمی دیگر به سوی هوش مصنوعیِ سبکتر و کارآمدتر! 🚀
منبع: arXiv Machine Learning