محققان در مقاله جدیدی از روشی خلاقانه به نام «ProCap» رونمایی کردهاند که کیفیت کپشننویسی برای ویدیوها را به شکل چشمگیری ارتقا میدهد.
مشکل اصلی اکثر مدلهای فعلی، «توهم» (Hallucination) یا حذف جزئیات مهم است. مدل ProCap بدون نیاز به آموزش مجدد و هزینههای سنگین مدلهای بزرگ، از یک سیستم امتیازدهی هوشمند استفاده میکند تا اشیاء مهم در ویدیو را شناسایی و با دقت در کپشن تزریق کند.
نتایج این تحقیق نشان میدهد که این روش میتواند تا ۴۸٪ دقت و کامل بودن کپشنها را افزایش داده و توهم مدل را تا ۴۵٪ کاهش دهد؛ گامی مهم به سوی ویدیوهای هوشمندتر و قابل اعتمادتر! 🤖🎞️
منبع: arXiv Computer Vision