محققان در مقاله جدیدی روش نوآورانه «KronQ» را معرفی کردهاند که فشردهسازی و کوانتیزاسیون (Quantization) مدلهای غولآسایی مثل LLaMA-3-70B را به سطح جدیدی میبرد.
🔹 چرا این خبر مهم است؟
بسیاری از روشهای فعلی مثل GPTQ فقط روی آمارهای فعالسازی تمرکز میکنند، اما KronQ با ترکیب «کوواریانس گرادیان» و استفاده از تقریب هسین (Hessian)، حتی در ۲-بیت هم دقت مدل را به شدت حفظ میکند. این یعنی در آینده، اجرای مدلهای فوق هوشمند روی سختافزارهای ضعیفتر، بسیار بهینهتر و با افت کیفیت ناچیز ممکن خواهد بود.
این پیشرفت کلیدی برای کاهش هزینههای اجرا و در دسترستر شدن هوش مصنوعی برای همه ماست! 🧠💡
منبع: arXiv Machine Learning