محققان در مقالهای جدید، چالش «محدودیت بلاک» در مدلهای زبانی دیفیوژن (dLLMs) را هدف قرار دادهاند. در این مدلها، به دلیل تولید متن در قالب بلوکهای ثابت، خطاها در مرز بلوکها انباشته شده و کیفیت خروجی را کاهش میدهند.
تکنیک جدید «Multi-Block Editing» یا MBE با باز کردن یک پنجره توجه کامل (Full-Attention) روی بلوکها، امکان ویرایش توکنهای قبلی بر اساس محتوای آینده را فراهم میکند. این یعنی مدل میتواند با بازبینی و اصلاح خطاهای قبلی، انسجام بسیار بالاتری در تولید متن داشته باشد. این روش در کنار بهینهسازیهای سختافزاری در SGLang، گامی مهم برای افزایش هوشمندی و دقت مدلهای زبانی نسل آینده است. 🧠✨
منبع: arXiv AI