محققان در مقالهای جدید، معماری انقلابی به نام «Set Diffusion» را معرفی کردهاند که نقطه عطفی در مدلهای زبانی محسوب میشود. این مدل با ترکیب ویژگیهای مدلهای خودبازگشتی (Autoregressive) و مدلهای انتشار (Diffusion)، محدودیتهای قبلی در تولید متن را از بین برده است.
ویژگیهای کلیدی این دستاورد:
✅ انعطاف در تولید: برخلاف مدلهای قدیمی، این مدل اجازه میدهد توکنها با هر ترتیبی تولید شوند که سرعت استنتاج (Inference) را بهشدت افزایش میدهد.
✅ پشتیبانی از KV Cache: این مدل بالاخره مشکل کش کردن مقادیر در مدلهای انتشار را حل کرده و امکان استفاده از آن در کاربردهای واقعی را فراهم میکند.
✅ کاربرد گسترده: عملکرد عالی در خلاصهسازی، حل مسائل ریاضی و پر کردن متون (Infilling) از ویژگیهای بارز آن است.
این مدل میتواند سرعت و کیفیت تولید متن را به سطح جدیدی ارتقا دهد که برای آینده LLMها بسیار حیاتی است.
منبع: arXiv Machine Learning
