محققان بهتازگی مجموعه داده جدیدی به نام XCOMPS را معرفی کردهاند که تحولی در سنجش درک زبانی مدلهای هوش مصنوعی ایجاد میکند. این پروژه با بررسی ۱۷ زبان مختلف، چند نکته کلیدی را روشن کرده است:
🔹 درک مدلها از مفاهیم در زبانهای با منابع کم (Low-resource) همچنان ضعیف است.
🔹 هوش مصنوعی در تشخیص تفاوتهای ظریفِ معنایی با چالش جدی روبروست.
🔹 آموزشهای مبتنی بر دستورالعمل (Instruction Tuning) لزوماً هوش درونی مدل را افزایش نمیدهند، اما استفاده از دانشِ تقطیر شده (Knowledge Distillation) میتواند به تقویت درک مفاهیم کمک کند.
🔹 زبانهای پیچیده از نظر ساختار مورفولوژیک، برای پردازش دقیقتر به لایههای عمیقتری در مدل نیاز دارند.
این تحقیق نشان میدهد که برای رسیدن به یک هوش مصنوعی واقعاً چندزبانه، هنوز راه درازی در پیش است! 🚀
منبع: arXiv NLP