با هوشمندتر شدن عاملهای هوش مصنوعی (AI Agents) و توانایی آنها در استفاده از ابزارهای مختلف، چالشهای امنیتی جدیدی هم ظاهر شده است. محققان به تازگی فریمورک خطرناکی به نام «STAC» را معرفی کردهاند که میتواند عاملهای هوش مصنوعی را فریب دهد.
🔍 این حمله چطور کار میکند؟
در حملات STAC، مهاجم با ترکیب کردن چندین دستور یا فراخوانی ابزار که در ظاهر کاملاً بیخطر هستند، یک «زنجیره» مخرب ایجاد میکند که در نهایت منجر به یک عملیات خطرناک میشود. نکته نگرانکننده اینجاست که در تستهای انجام شده، مدلهای پیشرفته هوش مصنوعی با نرخ موفقیت بیش از ۹۱٪ در برابر این نوع حملات آسیبپذیر بودهاند!
💡 خبر خوب این است که محققان در کنار کشف این حفره، راهکارهای دفاعی مبتنی بر «استدلال» (Reasoning-driven defense) را پیشنهاد دادهاند تا امنیت این سیستمها در برابر این ترفندهای پنهان افزایش یابد.
امنیت در دنیای هوش مصنوعی همیشه یکی از مهمترین مباحث است که باید جدی گرفته شود! نظر شما چیست؟ آیا هوش مصنوعی در نهایت میتواند امنیت خود را تضمین کند؟
منبع: arXiv AI