محققان به تازگی ابزار جدیدی به نام MemSecBench را معرفی کردهاند که به بررسی یکی از بزرگترین حفرههای امنیتی در ایجنتهای هوشمند میپردازد: «مسمومسازی حافظه» (Memory Poisoning).
🔹 ماجرا چیست؟
ایجنتهای هوشمند برای عملکرد بهتر، اطلاعاتی را در حافظه بلندمدت خود ذخیره میکنند. این بنچمارک جدید نشان میدهد که مهاجمان میتوانند دستورات مخربی را در این حافظه تزریق کنند که ایجنت در آینده آنها را اجرا کرده و باعث بروز رفتارهای ناخواسته یا خطرناک شود.
📊 نتایج نگرانکننده:
در آزمایشهای انجام شده روی ۲۴ ساختار مختلف از مدلهای زبانی، ۸۴٪ از ایجنتها دستورات مخرب را در حافظه خود نگه داشتهاند و بیش از ۵۰٪ آنها در نهایت فریب خورده و دستور مخرب را اجرا کردند!
این تحقیق نشان میدهد که دنیای امنیت ایجنتها هنوز راه درازی در پیش دارد و حفاظت از حافظه این سیستمها به یکی از اولویتهای حیاتی تبدیل شده است.
منبع: arXiv AI