تا به حال به این فکر کردهاید که چطور میتوان کاراکترهای فیلمبرداری شده روی پرده سبز را به شکلی کاملاً طبیعی و واقعی وارد محیطهای مجازی کرد؟ محققان در یک دستاورد جدید، فریمورکی بر پایه «مدلهای انتشار» (Diffusion Models) معرفی کردهاند که به طور همزمان روی دو چالش اصلی تمرکز دارد:
۱. تعامل فیزیکی کاراکتر با محیط (C2E): مثل برخورد درست با اشیاء و وسایل.
۲. هماهنگی نوری (E2C): ایجاد بازتاب و نورپردازی که کاراکتر را کاملاً بخشی از محیط جدید جلوه میدهد.
این مدل با استفاده از معماری «سه ماسکه» (Tri-mask) و پردازش همزمان RGB-D، بدون نیاز به رندرهای گرانقیمت، خروجیهای بسیار باکیفیتی تولید میکند که مرز بین واقعیت و ویدیوهای ساختهشده با AI را باریکتر از همیشه کرده است. 🚀✨
منبع: arXiv Computer Vision