اگر در حوزه توسعه مدلهای زبانی (LLM) فعال هستید، حتماً با چالشهای سنگین بودن کشِ KV آشنا هستید! محققان به تازگی معماری جدیدی به نام GQLA (مخفف Group-Query Latent Attention) معرفی کردهاند که یک جهش بزرگ در کارایی مدلهای هوش مصنوعی محسوب میشود.
💡 چرا GQLA مهم است؟
این معماری به مدل اجازه میدهد بدون نیاز به آموزش مجدد، رفتار خود را با سختافزارهای مختلف (از H100 قدرتمند گرفته تا کارتهای محدودتر مثل H20) تطبیق دهد. به زبان ساده، این یعنی:
✅ کاهش چشمگیر مصرف حافظه برای کشِ KV (تا حدود ۲۸ درصد در برخی شرایط).
✅ افزایش سرعت استنتاج (Inference) بدون افت کیفیت.
✅ پشتیبانی از قابلیتهای پیشرفتهای مثل Multi-Token Prediction در سختافزارهای میانرده.
این نوآوری مسیر را برای اجرای مدلهای عظیم روی سختافزارهای متنوعتر و بهینهتر هموارتر میکند. برای کسانی که روی زیرساختهای هوش مصنوعی کار میکنند، این مقاله یکی از خواندنیترینهای هفته است! 🔍
منبع: arXiv AI