همانطور که میدانید، بیشتر بنچمارکهای هوش مصنوعی بر پایه زبان انگلیسی هستند. حالا محققان برای رفع این کمبود در زبانهای دیگر، بنچمارک جدید MTEB-PT را برای ارزیابی مدلهای «امبدینگ» (Embedding) در زبان پرتغالی معرفی کردهاند.
نتایج این تحقیق نشان میدهد که:
✅ مدلهای چندزبانه همیشه عملکرد یکسانی در همه زبانها ندارند.
✅ برای کارهای تخصصی، استفاده از مدلهایی که اختصاصی برای یک زبان خاص تنظیم (Fine-tune) شدهاند، همچنان بهترین نتیجه را میدهد.
✅ مدلهای با پنجره متنی (Context) بزرگتر، در کارهای پیچیدهتر مثل بازیابی اطلاعات عملکرد بهتری دارند.
این تحقیق گام مهمی در جهت عدالت زبانی در هوش مصنوعی و بهبود دقت مدلها برای زبانهایی غیر از انگلیسی است. 🌍
منبع: arXiv AI