محققان در مقالهای جدید، فریمورک نوآورانهای به نام DC-Leap را معرفی کردهاند که بدون نیاز به آموزش مجدد، سرعت تولید متن در مدلهای انتشار (Diffusion LLMs) را بهطور چشمگیری افزایش میدهد.
نکته کلیدی این دستاورد:
🔹 این متد با استفاده از استراتژی «تایید پیوسته پویا»، خطاهای احتمالی در محاسبات احتمالی را خنثی میکند.
🔹 نتیجه خیرهکننده: افزایش سرعت تا ۵۳ برابر در بنچمارکهای استاندارد و تا ۱۰۵ برابر در صورت ترکیب با KV-Cache!
اگر در حوزه بهینهسازی مدلهای زبانی بزرگ فعالیت میکنید، این روش جدید که به دنبالِ نگاه به آینده (Look-ahead) در تولید توکنهاست، ابزاری بسیار کاربردی برای کاهش هزینههای استنتاج (Inference) خواهد بود. 📈
کد این پروژه در گیتهاب برای علاقهمندان در دسترس است.
سازی
منبع: arXiv AI