محققان بهتازگی بنچمارک جدیدی به نام «MSQA» را معرفی کردهاند که فرضیه «همسویی فرهنگی» مدلهای زبانی بزرگ را به چالش میکشد. برخلاف آزمونهای ترجمهشده، MSQA شامل بیش از ۱۰۰۰ پرسش بومی از ۱۱ گروه زبانی است.
نتایج بررسی ۱۸ مدل هوش مصنوعی نشان میدهد که مدلها با وجود تسلط زبانی، در درک مفاهیم فرهنگی دچار «زوال فرهنگی» هستند. در واقع، هوش مصنوعی فرهنگ را فقط بر اساس دادههای آموزشی (عمدتاً انگلیسیمحور) درک میکند و با تکنیکهای معمولی مثل RAG یا نمونهگیری هم مشکل حل نمیشود.
این تحقیق نشان میدهد که برای داشتن هوش مصنوعی واقعاً جهانی، باید به چیزی فراتر از صرفاً مهارت زبانی فکر کنیم! 🌏✨
منبع: arXiv NLP