مدلهای زبانی چندوجهی (MLLM) در درک اسناد هنوز برای زبانهای کممنابع با چالشهای جدی روبرو هستند. محققان به تازگی بنچمارک جدیدی به نام «BaFCo» را منتشر کردهاند که شامل ۲۰۰ فرم پیچیده دولتی بنگلادشی است.
این دیتاست به طور تخصصی برای ارزیابی «تحلیل طرحبندی اسناد» (DLA) و «استخراج اطلاعات کلیدی» (KIE) طراحی شده است. نتایج بررسیها روی مدلهای بزرگی مثل ChatGPT، Gemini و Claude نشان میدهد که هوش مصنوعی هنوز در جزئیاتِ پیچیده اسناد ساختاریافته، مسیر زیادی برای پیشرفت دارد.
این نوع بنچمارکها به متخصصان کمک میکند تا محدودیت مدلها در درک زبانهای غیرانگلیسی و فرمهای اداری را بهتر شناسایی و رفع کنند. 🧐
منبع: arXiv AI