دنیای مدلهای بزرگ صوتی (LALM) به سرعت در حال پیشرفته، اما هنوز بخشهای زیادی برای به چالش کشیدن آنها وجود دارد. محققان به تازگی بنچمارک جدیدی به نام «ESCUCHA» را معرفی کردهاند که به طور ویژه روی درک گفتار زبان اسپانیایی در شرایط صوتی واقعی و پیچیده تمرکز دارد.
این بنچمارک با ۱۰۰۰ سوال انسانی و ۱۶۲ ساعت صوت واقعی، مدلها را در زمینههای مختلف، از تشخیص لهجههای متفاوت گرفته تا مهارتهای استدلالی، به چالش میکشد. هدف نهایی این است که شکاف عملکرد بین مدلهای فعلی و انسانها در درک گفتار کاهش یابد. گام بزرگی برای کاربردیتر کردن دستیارهای صوتی هوشمند! 🧠✨
منبع: arXiv NLP