محققان در مقاله جدیدی راهکار هوشمندانهای به نام KAP (مخفف Knowledge Access Planning) معرفی کردهاند که چالش بزرگی به نام «شکاف مصرف دانش» در مدلهای زبانی (LLM) را حل میکند.
مشکل اصلی این است که مدلها هنگام استدلال، به جای تمرکز روی اطلاعات کلیدی، تمام متن ورودی را بهصورت یکنواخت پردازش میکنند که باعث کندی و اشغال بیهوده حافظه (KV Cache) میشود.
کمیته و سیستم KAP با ایجاد یک «نقشه دسترسی»، به جای پردازش خام متن، به مدل اجازه میدهد دقیقاً بداند چه زمانی و چگونه از اطلاعات ساختاریافته استفاده کند. این یعنی:
✅ کاهش چشمگیر تاخیر در پاسخدهی
✅ استفاده بهینه از منابع سختافزاری
✅ افزایش کارایی مدل بدون نیاز به آموزش مجدد
این نوآوری میتواند گام بزرگی برای اجرای سریعتر مدلهای هوش مصنوعی روی سیستمهای معمولی باشد. 🧠💻
منبع: arXiv Machine Learning