آیا هوش مصنوعی میتواند فعالیتهای روزمره ما را مثل یک دستیار واقعی درک کند؟ محققان با معرفی بنچمارک جدید EgoProceVQA و فریمورک EgoProceAgent، به دنبال حل این چالش هستند!
این تحقیق بر روی «درک رویهای» تمرکز دارد؛ یعنی توانایی مدلهای چندوجهی (MLLM) در فهم مراحل انجام یک کار (مثلاً آشپزی یا تعمیرات) از نگاه اولشخص. جالب اینجاست که این ایجنت جدید بدون نیاز به دادههای آموزشی خاص (Ground-truth)، یاد میگیرد چطور با ترکیب مهارتهای مختلف، وظایف پیچیده را با دقت بالا انجام دهد. این یعنی دنیای رباتهای دستیار و گجتهای پوشیدنی هوشمند، بیش از همیشه به واقعیت نزدیک شده است! 🚀✨
منبع: arXiv Computer Vision