محققان در تازهترین پژوهش خود، سراغ بررسی توانایی مدلهای زبانی در زبان «قرقیزی» رفتهاند. از آنجایی که اکثر بنچمارکهای فعلی بر پایه ترجمه از انگلیسی هستند، این تیم «KyrgyzLLM-Bench» را به عنوان اولین مجموعه ارزیابی سیستماتیک برای این زبان معرفی کرده است.
نکته جالب این تحقیق، بررسی عملکرد ۲۶ مدل مختلف (متنباز و اختصاصی) در زبان قرقیزی است که نشان میدهد چگونه تغییرات زبانی و فرهنگبومی میتواند دقت مدلها را در تستهای هوش و درک مطلب تغییر دهد. این دستاورد گام مهمی برای فراگیرتر شدن هوش مصنوعی در زبانهایی است که تاکنون نادیده گرفته شدهاند! 🌍🤖
منبع: arXiv NLP