🇯🇵 بنچمارک جدید برای سنجش هوش ژاپنی مدل‌های زبانی! 🧠

محققان به تازگی بنچمارک جدیدی به نام «YOMI-Bench» را معرفی کرده‌اند که به طور اختصاصی روی درکِ خوانش (Reading) و آواشناسی کانجی در مدل‌های زبانی متمرکز است.

نکته جالب اینجاست که زبان ژاپنی به دلیل داشتنِ سیستم نوشتاری پیچیده و کانجی‌هایی با چندین نوع خوانش متفاوت، همیشه چالش بزرگی برای LLMها بوده است. نتایج تست‌ها نشان می‌دهد که حتی مدل‌های تخصصی ژاپنی و مدل‌های تجاری قدرتمند هم در مواجهه با ظرافت‌های خوانشِ کانجی در کارهای تولید متن، عملکرد ضعیفی دارند. این بنچمارک کمک می‌کند تا درک مدل‌ها از پیچیدگی‌های زبانی ارتقا یابد.

منبع: arXiv NLP