محققان در پژوهشی تازه، پدیدهای عجیب به نام «شیبِ خطا» (Wrong-Dip) را در مدلهای زبانی کشف کردند. بررسیها نشان میدهد که مدلهای هوش مصنوعی (مثل Qwen یا Mistral) در لایههای میانی خود ابتدا تمایل دارند پاسخ اشتباه را انتخاب کنند و تنها در لایههای نهایی موفق به اصلاح خود میشوند!
نکات کلیدی این تحقیق:
✅ این پدیده در مدلهای بزرگتر (مثل 32 میلیاردی) شدت بیشتری دارد.
✅ مدلهایی که این «شیب خطا» در آنها زیاد است، در برابر روشهای فشردهسازی (Compression) بسیار آسیبپذیرترند.
✅ با آموزش مدل (Fine-tuning) میتوان این مسیرهای اشتباه داخلی را تا ۷۰ درصد کاهش داد و هوش مصنوعی را بهینهتر کرد.
این یافتهها درک ما را از «جعبه سیاه» مغز هوش مصنوعی و نحوه پردازش اطلاعات در لایههای عمیق مدلها، یک پله جلوتر میبرد. 🚀
منبع: arXiv NLP