مدلهای زبانی-بینایی (VLMs) ادعا میکنند که صدها زبان را میفهمند، اما برای اثبات این ادعا در اسناد پیچیده، همیشه با کمبود دادههای مرجع روبرو بودیم. حالا محققان بنچمارک جدیدی به نام MORE را معرفی کردهاند که این مشکل را حل میکند!
✨ چرا MORE مهم است؟
🔹 پوشش بینظیر: این بنچمارک شامل ۱۴۹ زبان مختلف است.
🔹 فراتر از متن: علاوه بر متن، جداول، کدهای برنامهنویسی و ساختارهای پیچیده اسناد را نیز ارزیابی میکند.
🔹 دقت واقعی: تمام نمونهها از اسناد واقعی استخراج و توسط انسان بازبینی شدهاند.
این ابزار به توسعهدهندگان کمک میکند تا بفهمند مدلهای هوش مصنوعی چقدر در پردازش اسنادِ زبانهای غیرانگلیسی واقعی هستند.
منبع: arXiv Computer Vision