تولید ویدیو از تعامل انسان با اشیاء (مثل ویدیوهای تبلیغاتی فروشگاهها) همیشه چالشبرانگیز بوده، چون مدلها برای درک حرکات دست نیاز به راهنماییهای دقیق و پرهزینه داشتند. اما حالا فریمورک جدید SparseCtrl-HOI این بازی را عوض کرده است!
💡 ویژگیهای کلیدی این تکنولوژی:
🔹 نیاز به داده کمتر: به جای راهنمایی فریمبهفریم، فقط با چند «کیفریم» (Keyframe) کلیدی، ویدیوهای باکیفیت میسازد.
🔹 استفاده از MLLM: با کمک مدلهای زبانی چندوجهی، مدل میتواند حرکتهای میانی را به شکلی منطقی و فیزیکی «حدس بزند» و شبیهسازی کند.
🔹 دیتاست جدید: معرفی SparseHOI-5K به عنوان یک مجموعه داده غنی برای آموزش سیستمهای این حوزه.
این یعنی به زودی شاهد تولید ویدیوهای هوشمند و بسیار طبیعیتر در حوزه تجارت الکترونیک و تولید محتوا خواهیم بود! 🚀
منبع: arXiv Computer Vision