حتماً متوجه شدید که مدلهای فعلی در پردازش ویدیوهای طولانی (مثل فیلمهای یک ساعته) دچار ضعف هستند و جزئیات را فراموش میکنند. حالا محققان فریمورک جدیدی به نام «Homer» معرفی کردهاند که با استفاده از «حافظه سلسلهمراتبی» و «استدلال عاملیت»، دقیقاً مثل انسان عمل میکند.
این مدل بهجای ذخیرهسازی خام ویدیو، رویدادها، روابط علی و اشیاء موجود در فیلم را دستهبندی میکند. به همین دلیل میتواند مثل یک بازرس، صحنههای مورد نظر را جستجو کرده و با استدلال دقیق، به سوالات پیچیده ما درباره ویدیوهای طولانی پاسخ دهد.
نتایج اولیه نشان میدهد که Homer در بنچمارکهای اصلی ویدیو، عملکرد بسیار بهتری نسبت به مدلهای قبلی دارد. پیشرفتهای اینچنینی ما را به درک کامل ویدیو توسط ماشین نزدیکتر میکند! 🚀
منبع: arXiv AI