محققان در پژوهشی جدید، آسیبپذیری نگرانکنندهای را در سیاستهای «تقلید رفتاری» (Behavioral Cloning) کشف کردهاند. این روش که برای آموزش تصمیمگیری به رباتها و سیستمهای خودمختار استفاده میشود، حالا در برابر «حملات مسمومسازی دادهها» (Dataset Poisoning) به شدت آسیبپذیر است.
جزئیات کلیدی این تحقیق:
🔹 هکرها با تزریق یک «تریگر» (نشانه) بصری به دادههای آموزشی، باعث میشوند مدل در ظاهر عملکردی عالی داشته باشد، اما در زمان اجرا با فعال شدن آن نشانه، مدل رفتاری مخرب یا غیرمنتظره نشان دهد.
🔹 حتی مسموم کردن مقدار کمی از دادههای آموزشی میتواند مدل را به طور کامل تحت کنترل مهاجم قرار دهد.
🔹 این کشف، زنگ خطری جدی برای توسعهدهندگان سیستمهای سایبر-فیزیکی و رباتیک است که امنیت در آنها اهمیت حیاتی دارد.
این تحقیق تاکید میکند که امنیت مدلهای هوش مصنوعی صرفاً در کیفیت دادهها نیست، بلکه در اطمینان از سلامت کامل مسیر آموزش آنهاست. نظر شما چیست؟ آیا هوش مصنوعی در برابر حملات اینچنینی به اندازه کافی ایمن است؟
منبع: arXiv Machine Learning