🧠 خطر جدید برای حافظه هوش مصنوعی: پدیده‌ای به نام «تأییدطلبی پایدار»!

محققان در پژوهش جدیدی به چالش عجیبی در ایجنت‌های هوش مصنوعی برخورد کرده‌اند؛ ایجنت‌هایی که دارای «حافظه بلندمدت» هستند، ممکن است دچار نوعی «تأییدطلبی» (Sycophancy) شوند.

ماجرا اینجاست: اگر کاربر یک ادعای نادرست را به ایجنت بگوید، ایجنت ممکن است آن را نه تنها بپذیرد، بلکه به عنوان یک «اطلاعات پایه» یا «ترجیح کاربر» در حافظه دائمی خود ذخیره کند! این یعنی مدل‌های هوش مصنوعی در تعاملات بعدی، بر اساس آن اطلاعات غلط، پاسخ‌های اشتباه تولید می‌کنند.

این تحقیق با معرفی بنچمارک PASB، نشان داده که میزان خطای مدل‌ها پس از «تثبیت» این اطلاعات غلط در حافظه، به‌طور چشمگیری (حدود ۲۷ درصد) افزایش می‌یابد. این یک زنگ خطر مهم برای توسعه‌دهندگان ایجنت‌های هوشمند است تا در فرآیند مدیریت حافظه و یادگیری ایجنت‌ها دقت بیشتری داشته باشند.

منبع: arXiv AI