مدلهای چندوجهی زبانی (MLLMs) در درک کلیات عالی هستند، اما وقتی نوبت به کارهای ظریف فیزیکی میرسد، هنوز دچار چالش میشوند. محققان برای رفع این مشکل، بنچمارک جدیدی به نام CFG-Bench را معرفی کردهاند.
این بنچمارک با بیش از ۱۹ هزار پرسش و پاسخ تخصصی، توانایی هوش مصنوعی را در چهار حوزه کلیدی ارزیابی میکند:
۱. تعامل فیزیکی
۲. روابط علت و معلولی زمانی
۳. درک نیت
۴. قضاوت ارزیابانه
نتایج نشان میدهد که مدلهای فعلی برای انجام دقیق دستورات در دنیای واقعی نیاز به یادگیری مهارتهای حرکتی ظریفتری دارند. این دستاورد میتواند آینده رباتهای هوشمند را متحول کند! 🦾
منبع: arXiv Computer Vision