محققان تکنولوژی جدیدی به نام «SonicSampler» معرفی کردهاند که میتواند انقلابی در اجرای مدلهای زبانی بزرگ ایجاد کند. این ابزار با استفاده از هستههای بهینهشده Triton، کل مراحل نمونهبرداری و تأیید حدسی (Speculative Decoding) را یکپارچه میکند.
ویژگیهای کلیدی:
✅ افزایش سرعت تا ۱۰ برابر در پردازشهای معمولی و ۱۶ برابر در سناریوهای پیچیده!
✅ سازگاری کامل با CUDA Graph برای اجرای بهینه روی GPU.
✅ پشتیبانی از قابلیتهای داینامیک مثل فیلترهای Top-k/Top-p و محدودیتهای گرامری در یک مرحله.
این یعنی در آیندهای نزدیک، مدلهای هوش مصنوعی با تأخیر بسیار کمتر و کارایی بالاتر در اختیار ما قرار میگیرند. 🤖💻
نویسی سازی
منبع: arXiv AI