یکی از بزرگترین چالشهای مدلهای تولید ویدیو، حفظ «سازگاری فیزیکی» در طول زمان است؛ یعنی مثلاً وقتی جسمی در ویدیو حرکت میکند، قوانین فیزیک را به درستی رعایت کند.
محققان در مقاله جدیدی، چارچوب تازهای به نام VPT را معرفی کردهاند که با استفاده از «نقشدهی هوشمند» به اشیاء (تشخیص نقش آنها به عنوان عامل، جسم کنترلشده یا پسزمینه) و یک روش جداسازی نویز، باعث میشود ویدیوهای تولیدی بسیار طبیعیتر و از نظر فیزیکی پایدارتر به نظر برسند.
این روشِ هوشمندانه کمک میکند تا خطاهای محاسباتی در حین تولید ویدیو به حداقل برسد و خروجی نهایی، به دنیای واقعی نزدیکتر شود. 🎥✨
منبع: arXiv Computer Vision