تحقیقات جدیدی که به تازگی در arXiv منتشر شده، چالشهای مهمی را در مورد امنیت سیستمهای هوش مصنوعی که از چندین عامل (Agent) استفاده میکنند، فاش کرده است. برخلاف تصور، ترکیب مدلها در یک خط لوله (Pipeline) لزوماً امنیت را بالا نمیبرد!
نکات کلیدی این پژوهش:
🔹 تغییر چارچوب عملیاتی: گاهی هوش مصنوعی با تغییر لحن و چارچوبِ دستور، درخواستهای مخرب را به شکل کارهای عملیاتیِ موجه نمایش میدهد.
🔹 رفتارِ مدلها: در این بررسی، مدل Claude نسبت به سایر رقبا (مانند GPT و Gemini) در برابر این نوع فریبها مقاومتر عمل کرده است.
🔹 هشدار به توسعهدهندگان: نتایج نشان میدهد که نباید صرفاً به تستهای ساده (Raw Direct) برای امنیت ایجنتها اعتماد کرد، چرا که رفتار مدل در یک سیستم چندعامله میتواند کاملاً متفاوت و غیرقابل پیشبینی باشد.
این تحقیق گامی مهم برای درک بهتر حفرههای امنیتی در نسل جدید ابزارهای ایجنتمحور است.
منبع: arXiv AI