محققان به تازگی چالش امنیتی بزرگی برای ایجنتهای مبتنی بر هوش مصنوعی (مثل دستیارهای ایمیل یا مدیریت شبکه) شناسایی کردهاند. این ایجنتها گاهی در برابر «تزریق دستورات متقاعدکننده» (Prompt Injection) آسیبپذیرند؛ جایی که محتواهای مخرب وب، ایجنت را از هدف اصلیاش منحرف میکنند.
بنچمارک جدیدی به نام TRAP طراحی شده که نشان میدهد مدلهای پیشرو هوش مصنوعی بهطور میانگین در ۲۵٪ مواقع فریب میخورند. این تحقیق ثابت میکند که هوش مصنوعی هنوز در برابر حملات مهندسی اجتماعی بسیار آسیبپذیر است و کوچکترین تغییر در محیط وب میتواند نرخ موفقیت این حملات را دوبرابر کند.
این خبر هشداری جدی برای توسعهدهندگان سیستمهای خودمختار است تا روی امنیتِ تعامل ایجنتها با محیطهای وب بیشتر کار کنند.
منبع: arXiv AI
