محققان روش جدیدی به نام GaugeQuant ابداع کردهاند که بدون نیاز به دادههای کالیبراسیون سنگین یا شبیهسازیهای پیچیده، کوانتایزیشن (Quantization) مدلهای ترنسفورمری مثل LLaMA-2 را به شدت بهبود میدهد.
💡 نکته جذاب اینجاست: این روش با بهرهگیری از تقارنهای درونی مدل، حین آموزش، پایهای را انتخاب میکند که نویزهای فعالسازی را به حداقل میرساند. نتیجه؟ کاهش چشمگیر perplexity و عملکردی فوقالعاده در مدلهای سبکسازی شده (W4A4).
این یعنی هوش مصنوعی با مصرف منابع کمتر، هوشمندتر و دقیقتر عمل میکند! برای مشاهده کد و جزئیات بیشتر به گیتهاب پروژه سر بزنید.
🔗 لینک پروژه: https://github.com/MPedraBento/gauge-quant
سازی
منبع: arXiv Machine Learning