محققان در پژوهش جدیدی به بررسی ضعفهای مدلهای هوش مصنوعی چندوجهی (VLM) پرداختهاند. یافتههای این مطالعه نشان میدهد که برخی مدلها با وجود حفظ دقت ظاهری (Accuracy)، در مواجهه با تصاویر نویزدار یا خراب، دچار رفتارهای غیرقابل پیشبینی و «اعتمادبهنفس کاذب» میشوند.
این تیم برای ارزیابی دقیقتر، ابزاری به نام Bench-C را معرفی کردهاند که به جای تمرکز صرف بر پاسخ نهایی، نحوه تغییر توزیع احتمالات مدل در برابر انواع تخریبهای تصویری را تحلیل میکند. نتایج نشان میدهد که گاهی اوقات حتی نویزهای جزئی میتوانند دقت مدل را به صورت کاذب بالا ببرند که این امر زنگ خطری برای استفاده از هوش مصنوعی در کاربردهای حساس است.
منبع و کد پروژه برای علاقهمندان به حوزه تحقیقاتی هوش مصنوعی در دسترس است.
منبع: arXiv Computer Vision