محققان در مطالعهای جدید، ابزار نوآورانهای به نام ADAGE را معرفی کردهاند که به جای تکیه بر ترجمه متون انگلیسی، قدرت «استدلال قیاسی» مدلهای هوش مصنوعی را به صورت بومی در زبانهای مختلف (مانند عربی و ژاپنی) میسنجد.
نتایج این تحقیق زنگ خطری برای دنیای هوش مصنوعی است: مدلهایی که در آزمونهای انگلیسی عالی عمل میکنند، وقتی با مفاهیم بومی و فرهنگیِ سایر زبانها مواجه میشوند، افت عملکردی بین ۱۲ تا ۵۲ درصد را تجربه میکنند! این نشان میدهد که ما هنوز با هوش مصنوعی که واقعاً چندزبانه و متناسب با فرهنگهای مختلف باشد، فاصله داریم.
این پروژه شامل یک خطلولهی ارزیابی جدید است که به توسعهدهندگان کمک میکند مدلهایی با درک عمیقتر از تفاوتهای فرهنگی بسازند.
منبع: arXiv NLP
