محققان در پژوهش جدیدی به بررسی آسیبپذیری مدلهای یادگیری ماشین (مثل Random Forest و XGBoost) در برابر حملات خصمانه پرداختهاند. نکته کلیدی این مقاله، معرفی شاخص «پایداری تفسیرپذیری» (ESI) است.
دانشمندان متوجه شدند که حتی اگر یک مدل در برابر حمله ظاهراً «مقاوم» به نظر برسد، ممکن است تحلیلهای توضیحی آن (مثل SHAP) کاملاً گمراهکننده باشند. این یعنی متخصصان امنیت نباید فقط به خروجی مدل اعتماد کنند، بلکه باید پایداری منطق پشت تصمیمات هوش مصنوعی را هم بسنجند. یک گام مهم برای امنتر کردن ایجنتهای هوشمند در دنیای واقعی! 🤖💻
منبع: arXiv AI
