محققان در تازهترین دستاورد خود، مدل VideoRAE را معرفی کردهاند که انقلابی در نحوه کارکرد مدلهای مولد ویدئو ایجاد میکند.
تا پیش از این، اکثر مدلها برای تولید ویدئو به «انکودرهای خودکار» (VAE) متکی بودند که بیشتر روی بازسازی پیکسلها تمرکز داشتند و جزئیات معنایی را نادیده میگرفتند. اما VideoRAE با استفاده از ویژگیهای قدرتمند «مدلهای بنیادین ویدئویی» (VFMs)، این فرآیند را بهینه کرده است.
✨ چرا این خبر مهم است؟
🔹 سرعت فوقالعاده: این مدل حدود ۵ برابر سریعتر از روشهای مشابه عمل میکند.
🔹 کیفیت بالاتر: با استفاده از یک پروژکتور خود-توجه (Self-attention)، جزئیات spatio-temporal (مکانی-زمانی) را بسیار دقیقتر حفظ میکند.
🔹 انعطافپذیری: از هر دو نوع خروجیهای پیوسته و گسسته پشتیبانی میکند که آن را برای انواع مدلهای انتشار (Diffusion) و خود-بازگشتی (Autoregressive) عالی کرده است.
این پیشرفت میتواند مسیر ما را برای ساخت ویدئوهای طولانیتر و باکیفیتتر توسط هوش مصنوعی، کوتاهتر کند! 🚀
منبع: arXiv Computer Vision