مدلهای زبانی چندوجهی (MLLM) در درک تصویر عالی هستند، اما وقتی صحبت از درک فضاهای پیچیده سهبعدی از روی تصاویر دوبعدی میشود، اغلب کم میآورند.
حالا محققان فریمورک جدیدی به نام GeoAnchor معرفی کردهاند که با یک روش نوآورانه، اطلاعات سهبعدی را به سه بخش کلیدی تجزیه میکند:
📍 موقعیت (Position): برای تشخیص مکان دقیق اشیاء.
🧭 جهت (Direction): برای درک روابط فضایی و جهتگیریها.
📐 هندسه (Geometry): برای ساختار کلی صحنه.
این مدل با ترکیب این سه لایه، میتواند استدلالهای دقیقتر و انسانیتری درباره دنیای اطراف داشته باشد و در کارهای پیچیده سهبعدی، عملکردی خیرهکننده نشان داده است. این یعنی یک گام بزرگ دیگر به سمت رباتهایی که دنیای پیرامون خود را مثل ما درک میکنند! 🚀
منبع: arXiv AI