تا حالا به این فکر کردید که چقدر تا داشتن یک «مربی هوشمند» که در لحظه کارهای شما را ببیند و اشتباهاتتان را تصحیح کند فاصله داریم؟ مدلهای زبانی-بینایی (MLLM) امروزی در تحلیل آفلاین ویدیوها عالی هستند، اما در تعامل لحظهای و اصلاح خطاها هنوز چالش دارند.
محققان به تازگی GuideMe را معرفی کردهاند؛ اولین بنچمارک تخصصی برای آموزش و ارزیابی هوش مصنوعی در محیطهای تعاملی و استریم. این مجموعه شامل بیش از ۲۴۰۰ ویدیو از حوزههای مختلف مثل آشپزی، ورزش و فعالیتهای روزمره است تا مدلها یاد بگیرند در حین انجام کار، به کاربر بازخورد اصلاحی بدهند.
نتایج اولیه نشان میدهد که اگرچه مدلهای فعلی دستورالعملها را خوب میفهمند، اما در تشخیص خطا و ارائه راهکار اصلاحی همچنان ضعیف هستند. این پروژه گام بزرگی برای رسیدن به دستیارهای واقعی است!
منبع: arXiv Computer Vision