محققان روش نوآورانهای به نام VSD معرفی کردهاند که مشکل همیشگی فاصله بین آموزش و استنتاج (Inference) در مدلهای زبانی بزرگ را هدف قرار داده است.
این متد با فرمولبندی یادگیری پیشنویس (Draft Training) به عنوان یک استنتاج متغیر، باعث میشود مدل در زمان تولید متن، مسیرهای دقیقتری را پیشنهاد دهد. نتایج خیرهکننده است: این روش نسبت به مدلهای فعلی مثل EAGLE-3 تا ۹.۶ درصد سرعت پاسخدهی را افزایش میدهد. ⚡️
این یک گام مهم برای کاربرانی است که به دنبال سرعت بالاتر در اجرای مدلهای سنگین روی سیستمهای خود هستند.
نویسی
منبع: arXiv AI