تازه ترین تحقیق در دنیای هوش مصنوعی به بررسی تکنیک «Speculative Decoding» پرداخته است. در این متد، مدلهای زبانی بزرگ برای افزایش سرعتِ تولید پاسخ، از یک مدل دستیار سریعتر استفاده میکنند تا پیشبینیها را انجام دهد و سپس مدل اصلی آنها را تأیید میکند.
نکته جالب این مقاله (Training-free Relaxed Speculative Decoding) اینجاست که چطور میتوان با «آرامتر کردن» فرآیند سختگیرانه فعلی، بدون نیاز به آموزش مدل جدید، سرعت اجرای مدلها را به شکل چشمگیری افزایش داد و بین دقت و سرعت، تعادل برقرار کرد.
این یک دستاورد فنی مهم برای توسعهدهندگانی است که میخواهند مدلهای بزرگ را روی سختافزارهای محدود سریعتر اجرا کنند.
نویسی
منبع: arXiv Machine Learning
