مدلهای زبانی دیفیوژن (dLLMs) به دلیل ماهیت گامبهگام در تولید متن، گاهی با مشکل «ناپایداری» در تصمیمات اولیه مواجه میشوند. این موضوع باعث میشود حتی خطاهای کوچک در مرحله کوانتیزاسیون (Quantization)، کل خروجی مدل را تحت تأثیر قرار دهد.
محققان در یک مقاله جدید، فریمورک «FAIR-Calib» را معرفی کردهاند که با شناسایی دقیقتر نقاط حساس و محافظت از آنها در طول فرآیند فشردهسازی مدل، دقت خروجی مدلهای LLaDA و Dream را بهطور چشمگیری افزایش میدهد. این روش بدون نیاز به محاسبات سنگین، کیفیت مدلهای کوانتیزه شده را به مدلهای اصلی نزدیک میکند. 🧠✨
منبع: arXiv AI