🚀 جهشی جدید در سرعت تولید متن با متد Spec-AUF! محققان به تازگی متد جدیدی به نام Spec-AUF برای بهبود سیستمهای “Speculative Decoding” معرفی کردهاند که میتواند سرعت پاسخدهی مدلهای زبانی را به شکل چشمگیری افزایش دهد. 💡 در حالت عادی، مدلهای پیشبینیکننده (Drafters) در طول پروسه حدس کلمات، خطاهایی دارند که باعث هدررفت توان پردازشی میشود. تکنیک AUF با تمرکز هوشمندانه بر آموزشِ مدل تنها تا اولین نقطه شکست، باعث میشود مدلهای پیشبینیکننده دقت بسیار بالاتری در پیشنهاد دادن کلمات داشته باشند. نتایج روی مدل Qwen3-8B نشان داده که این روش ساده اما کاربردی، خروجیهای معتبر مدل را بدون تغییر در زیرساخت اصلی، به طور محسوسی افزایش میدهد. این یعنی تجربه کاربری روانتر و سریعتر در چتباتهای هوشمند!
منبع: arXiv AI
