تا حالا برایتان پیش آمده که یک مدل هوش مصنوعی در حلقهای از کلمات تکراری گیر کند و مدام یک جمله را با خودش تکرار کند؟ این مشکل که به «فروپاشی توجه» (Attention Collapse) معروف است، یکی از چالشهای اصلی مدلهای زبانی است.
محققان بهتازگی چارچوب جدیدی با نام «Bayesian Repetition Penalty» معرفی کردهاند که بدون نیاز به تغییر در آموزش مدل، مثل یک مکانیسم تعمیر عمل میکند. این روش با تحلیل هوشمندانه احتمال کلمات و مقایسه آنها با دادههای اصلی، از گیر افتادن مدل در تلههای تکراری جلوگیری کرده و کیفیت تولید متن را بهطور چشمگیری بهبود میبخشد.
این نوآوری برای توسعهدهندگان مدلهای زبانی خبر بسیار خوبی است تا مدلهای خود را بدون هزینههای سنگینِ بازآموزی، «نجات» دهند!
منبع: arXiv AI