محققان مدل جدیدی به نام «HarmoHOI» معرفی کردهاند که گامی بزرگ در تعامل دست و اشیاء (HOI) در محیطهای مجازی محسوب میشود. 🦾✨
چالش اصلی در ساخت ویدئوهای باکیفیت و دقیق از تعامل دست با اشیاء، حفظ هماهنگی بین زوایای مختلف دوربین و حرکات پیچیده است. مدل جدید «HarmoHOI» با استفاده از معماری نوینِ «ترنسفورمر انتشار چند-نمایی»، نه تنها ویدئوهای RGB تولید میکند، بلکه همزمان مسیرهای حرکت سهبعدی را نیز با دقت بسیار بالا مدلسازی میکند.
این یعنی در آیندهای نزدیک، انیمیشنسازی برای بازیها و آموزش رباتهای هوشمند (Embodied AI) بسیار واقعیتر و روانتر از قبل خواهد بود. این مدل با ترکیب هندسه سهبعدی و هوش مصنوعیِ مولد، نقصهای موجود در مدلهای قبلی را به حداقل رسانده است.
منبع: arXiv Computer Vision