محققان در یک دستاورد تازه، مدل جدیدی به نام SAGE را معرفی کردهاند که میتواند «جهت نگاه» (Gaze) انسان و «تعاملات او با اشیاء» (HOI) را به طور همزمان تحلیل و پیشبینی کند.
بیشتر مدلهای فعلی، این دو بخش را جداگانه بررسی میکنند، اما SAGE با استفاده از یک ساختار مبتنی بر ترنسفورمر، وابستگی دقیق بین نگاه فرد و کارهایی که در حال انجام است (یا قرار است انجام دهد) را درک میکند. این مدل علاوه بر ویدیوهای شخصی (اولشخص)، در ویدیوهای محیطی نیز بسیار دقیق عمل کرده و بنچمارک جدیدی به نام «Exo-Cook» را برای توسعهدهندگان به ارمغان آورده است. این تکنولوژی میتواند در رباتیک، دستیارهای هوشمند و سیستمهای نظارتی انقلابی ایجاد کند. 🤖✨
منبع: arXiv Computer Vision