با افزایش توانایی ایجنتهای هوش مصنوعی برای انجام کارهای خودکار و استفاده از ابزارهای مختلف، ریسکهای امنیتی آنها هم پیچیدهتر شده است. تا امروز، تست امنیت این مدلها اغلب به روشهای دستی و محدود وابسته بود.
اما محققان با معرفی فریمورک «Vera»، گام بزرگی برای حل این مشکل برداشتهاند. این سیستم به صورت خودکار و در سه مرحله:
۱. ریسکهای امنیتی نوظهور را شناسایی و دستهبندی میکند.
۲. سناریوهای تست واقعی میسازد.
۳. با نظارت بر تعاملات ایجنت در یک محیط ایزوله، عملکرد آن را بدون تکیه به گزارشهای خودِ مدل (که گاهی قابل اطمینان نیستند) راستیآزمایی میکند.
نتایج تست این فریمورک روی مدلهای مشهوری مثل Claude Code نشان داده که ایجنتها هنوز ضعفهای امنیتی جدی دارند که باید برای کاربردهای تجاری و حساس برطرف شوند. آینده هوش مصنوعی، علاوه بر هوشمندتر شدن، نیازمند «امنیتِ واقعی» است! 🔒✨
منبع: arXiv AI
