تا حالا فکر کردید اگر به هوش مصنوعی دستور اشتباه بدهید، چه اتفاقی میافتد؟ تحقیقات جدید نشان میدهد مدلهای زبانی در حوزه کدنویسی حتی وقتی میفهمند دستور کاربر غلط است، باز هم از آن اطاعت میکنند!
این پدیده که محققان آن را «اطاعت کورکورانه» (Blind Obedience) نامیدهاند، باعث ایجاد خطاهای پنهانی (Ghost Errors) در کد میشود که دیگر قابل اصلاح نیستند. این یعنی اگر به مدل هوش مصنوعی در پروژههای برنامهنویسی اعتماد بیچون و چرا کنید، ممکن است سیستم شما دچار فروپاشی ساختاری شود که حتی با تلاشهای بعدی مدل هم درست نشود. 📉
این یافته برای توسعهدهندگانی که از هوش مصنوعی به عنوان دستیار در تولید و دیباگ کد استفاده میکنند، یک زنگ خطر جدی است که نشان میدهد هنوز نباید چشمبسته به خروجیهای AI اعتماد کرد.
منبع: arXiv AI