آیا مدلهای هوش مصنوعی واقعاً امن هستند؟ محققان بهتازگی روشی پیشرفته به نام «SAGA» را معرفی کردهاند که میتواند با استفاده از مکانیزم توجه (Attention)، آسیبپذیری مدلهای بینایی-زبانی (LVLM) را در برابر حملات خصمانه (Adversarial Attacks) شناسایی کند.
نکته جالب اینجاست که SAGA یک روش «جعبهسیاه» است؛ یعنی بدون دسترسی به پارامترها یا گرادیانهای داخلی مدل اصلی، میتواند با تحلیل دقیقِ نقاط حساس تصویر، مدل را فریب دهد! این پژوهش گام مهمی برای درک نقاط ضعف امنیتی مدلهای هوش مصنوعی در برابر حملات دستکاری تصویر محسوب میشود.
منبع: arXiv Computer Vision