یکی از چالشهای بزرگ مدلهای چندوجهی (Vision-Language)، اطمینان از این است که پاسخهای آنها واقعاً بر اساس شواهد بصری است یا صرفاً حدس و گمان!
محققان به تازگی فریمورک نوآورانه SIVA-RL را معرفی کردهاند که با استفاده از تکنیک جدید «تنظیم حساسیت و ناوردایی»، به مدلها کمک میکند تا درک بسیار دقیقتر و منطقیتری از تصاویر داشته باشند. این متد برخلاف روشهای قدیمی، به جای تکیه بر نوع تغییرات روی تصویر، بر اساس خروجی واقعی مدل نظارت میکند.
نتایج آزمایشها روی مدلهای ۳ و ۷ میلیارد پارامتری نشان میدهد که SIVA-RL در وظایف منطقی و ریاضی وابسته به تصویر، پیشرفت چشمگیری (تا ۱۴.۹ درصد بهبود نسبی) داشته است. این گام بزرگی برای هوشمندتر شدن دستیارهای بصری است! 🧠✨
منبع: arXiv Computer Vision