مدلهای زبانی نفوذی (dLLMs) معمولاً کلمات را بهصورت مستقل انتخاب میکنند که این موضوع میتواند باعث خطاهای منطقی شود. اما محققان با معرفی روش جدیدی به نام «CoCommit» راه حلی پیدا کردهاند!
💡 ایده اصلی این روش چیست؟
بهجای انتخاب مستقل کلمات، این سیستم اجازه میدهد توکنهای منتخب در لحظه آخر با هم هماهنگ شوند (Joint-mode decoding). این کار باعث میشود مدل قبل از نهایی کردن متن، وابستگیهای بین کلمات را درک کند.
نتایج آزمایشها روی مدل LLaDA2.1 نشان میدهد که این روش نه تنها نیاز به آموزش مجدد سنگین ندارد، بلکه دقت مدل در کارهای استدلالی و پاسخهای دقیق را بهشدت افزایش داده است. گامی کوچک اما مؤثر در جهت هوشمندتر شدن مدلهای زبانی! 🧠✨
منبع: arXiv NLP
