آیا هوش مصنوعی میتواند فریب بخورد؟ محققان بهتازگی بنچمارک جدیدی به نام DRNOISE را معرفی کردهاند که نشان میدهد «عاملهای تحقیق عمیق» (Deep Research Agents) به شدت در برابر اطلاعات غلطِ بهظاهر معتبر، آسیبپذیر هستند.
نکته جالب اینجاست که این مدلها حتی با وجود دسترسی به دادههای صحیح، وقتی با یک سند گمراهکننده مواجه میشوند، بهراحتی فریب خورده و دقت آنها تا ۸۸ درصد کاهش مییابد. این تحقیق نشان میدهد که هوش مصنوعی هنوز در «تطبیق و راستیآزمایی زنجیرهای شواهد» ضعف جدی دارد و نباید به نتایج جستجوهای خودکار بهصورت صددرصدی اعتماد کرد.
این یافتهها زنگ خطری برای توسعهدهندگان است تا به جای تمرکز صرف بر بازیابی اطلاعات، بر قدرت تحلیل و استدلالِ دقیقتر مدلها تمرکز کنند.
منبع: arXiv Machine Learning