مدلهای چندوجهی (LVLMs) روز به روز هوشمندتر میشوند، اما آیا واقعاً به آنچه میبینند اعتماد داریم؟ پژوهشگران با معرفی بنچمارک جدید MVI-Bench، به سراغ یک چالش بزرگ رفتهاند: «ورودیهای بصری گمراهکننده»!
این بنچمارک به ما کمک میکند تا بفهمیم مدلها در برابر دستکاریهای بصری (مفاهیم، ویژگیها و روابط) چقدر آسیبپذیر هستند. با استفاده از ۱۲۴۸ نمونه تست تخصصی و متریک جدید MVI-Sensitivity، محققان متوجه شدند که حتی پیشرفتهترین مدلها هم ممکن است به راحتی در تشخیص جزئیات بصری دچار خطا شوند.
این یک قدم مهم برای ساخت مدلهای هوش مصنوعی قابلاعتمادتر و ایمنتر است. برای بررسی جزئیات و استفاده از این بنچمارک میتوانید به مخزن گیتهاب آن سر بزنید.
🔗 لینک پروژه: https://github.com/chenyil6/MVI-Bench
منبع: arXiv Computer Vision