محققان بهتازگی چارچوب جدیدی به نام Lilith را معرفی کردهاند که یک حفره امنیتی جدی در مدلهای هوش مصنوعی را هدف قرار میدهد. این مدلها که برای آموزش به دادههای عمومی متکی هستند، در برابر «مسمومسازی دادهها» آسیبپذیرند.
نکته ترسناک این است که مهاجمان با استفاده از Lilith میتوانند حتی بدون دسترسی مستقیم به مدل نهایی، «درهای پشتی» (Backdoor) مخفی ایجاد کنند که فقط در زمان اجرا (Inference) فعال میشوند. این یعنی یک مدل ممکن است در ظاهر کاملاً سالم و دقیق عمل کند، اما با یک دستور یا الگوی خاص که در زمان آموزش دیده نشده، رفتارهای مخرب از خود بروز دهد.
این تحقیق نشان میدهد که دنیای امنیت هوش مصنوعی چقدر حساس است و نیاز به دفاعهای مستحکمتر در برابر دادههای آموزشی آلوده بیش از هر زمان دیگری حس میشود.
منبع: arXiv Machine Learning