دنیای دستیارهای صوتی هوشمند روز به روز در حال پیشرفته، اما اکثر بنچمارکها هنوز روی زبان انگلیسی متمرکز هستند! 🌍
محققان بهتازگی بنچمارک جدیدی به نام «VCB Bench» را معرفی کردهاند که به طور اختصاصی برای ارزیابی مدلهای گفتوگوی صوتی چینی طراحی شده است. تفاوت اصلی این بنچمارک در این است که از دادههای «صدای واقعی انسان» استفاده میکند و دقت مدلها را در سه بخش حیاتی میسنجد:
✅ دنبال کردن دستورات (Instruction Following)
✅ درک دانش و استدلال (Knowledge Understanding)
✅ پایداری و مقاومت در برابر نویز و تغییرات محیطی (Robustness)
این ابزار میتواند مسیر را برای توسعه مدلهای صوتی دقیقتر و کارآمدتر هموار کند. 🚀
منبع: arXiv NLP