اجرای مدلهای هوش مصنوعی (مخصوصاً مدلهای زبانی بزرگ) روی CPUها همیشه با چالش کندی سرعت و محدودیت سختافزاری روبرو بوده است. حالا محققان فریمورک نوآورانه «ExaGEMM» را معرفی کردهاند که با استفاده از تکنیک «محاسبات درونثباتی» (In-Register Computing)، سرعت استنتاج مدلهای کمبیت (Low-bit) را تا ۱۳ برابر نسبت به روشهای نرمافزاری فعلی افزایش میدهد. ⚡️
نکته کلیدی اینجاست که ExaGEMM بدون نیاز به سختافزار پیچیده اضافی، با بهینهسازی نحوه استفاده از ثباتهای CPU، عملکرد را به شکل چشمگیری بهبود میبخشد. این یعنی آیندهی اجرای محلی هوش مصنوعی روی لپتاپها و گوشیهای معمولی بسیار روشنتر از قبل است! 💻✨
منبع: arXiv Machine Learning