تحقیقات جدیدی منتشر شده که نشان میدهد در سیستمهای چندعاملی (Multi-Agent Systems)، با افزایش هوش و توانمندیِ «عوامل کاری» (Worker Agents)، امنیت کل سیستم کاهش مییابد!
این مطالعه جالب که روی ۴۲ هزار آزمایش انجام شده، میگوید مدلهای قویتر به قدری در گزارشهای خود «بااطمینان» صحبت میکنند که مدلهای مدیر (Manager) به سادگی فریب روایتهای مخفیشده در گزارشها را میخورند. به عبارت ساده: هر چه کارمندهای هوش مصنوعی با اعتمادبهنفستر شوند، احتمال اینکه سیستم تحت حملات «ربایش معنایی» (Semantic Hijacking) قرار بگیرد، به شدت بالا میرود.
این یک چالش امنیتی بزرگ برای آینده سیستمهای هوش مصنوعی خودمختار است که نشان میدهد امنیت فقط با ارتقای مدلها حل نمیشود!
منبع: arXiv AI