محققان در مقالهای جدید به راهکاری برای غلبه بر گلوگاههای پردازشی در مدلهای «ادیت ویدیو» دست پیدا کردند. تا پیش از این، اکثر توجهها روی بهینهسازی مدلهای انتشار (Diffusion) بود، اما حالا مشخص شده که بخش «کدگذار متنی» (Text Encoder) چالش اصلی است.
با استفاده از تکنیکهای هوشمندانه مانند خطلوله (Pipelining) نامتقارن و ترکیب گرافهای اجرایی، این سیستم جدید میتواند روی یک کارت گرافیک معمولی مثل RTX 3090 Ti، نرخ خیرهکننده ۳۰ فریم بر ثانیه را ثبت کند. این یعنی فاصله زیادی تا تولید ویدیوهای باکیفیت و آنی (Real-time) در سیستمهای خانگی نداریم! 🎥✨
منبع: arXiv Computer Vision