محققان در مطالعه اخیر خود به کشف نگرانکنندهای در مورد «عاملهای هوشمند» (GUI Agents) دست یافتهاند. ظاهراً میتوان با تزریق المانهای بصری ساده و ظاهراً بیخطر به رابط کاربری (UI)، هوش مصنوعی را وادار کرد که مسیر اشتباهی را طی کند یا روی آیکونهای مخرب کلیک کند.
این روش که «Semantic-level UI Element Injection» نام دارد، ثابت میکند که حتی قویترین مدلهای فعلی هم در برابر فریبهای بصری آسیبپذیر هستند و این حمله در مدلهای مختلف به خوبی عمل میکند. این تحقیق زنگ خطری جدی برای توسعهدهندگان است تا در طراحی امنیتِ تعامل هوش مصنوعی با محیط سیستمعامل، دقت بیشتری به خرج دهند.
به نظر شما، آیا راهی برای مصون ماندن مدلهای آینده در برابر این نوع فریبهای بصری وجود دارد؟
منبع: arXiv Computer Vision