یکی از بزرگترین چالشهای دنیای هوش مصنوعی، نحوه ارزیابی دقیق «تعبیههای متنی» (Text Embeddings) در زبانهای مختلف است. بنچمارکهای فعلی معمولاً محدود به انگلیسی بوده و درک درستی از زبانهای دیگر ندارند.
پروژه جدیدی به نام ALEE معرفی شده که با استفاده از ساختارهای معنایی (AMR)، جفتهای حداقلی ایجاد میکند تا مدلها را در بیش از ۲۷۵ زبان مختلف به چالش بکشد. این ابزار به محققان کمک میکند تا نقاط ضعف مدلها در درک معنایی زبانهای غیرانگلیسی را بهتر شناسایی کنند.
اگر در حوزه توسعه مدلهای چندزبانه فعالیت میکنید، بررسی این پروژه میتواند دید خوبی از عملکرد مدلتان به شما بدهد.
🔗 جزئیات بیشتر در گیتهاب:
https://github.com/Andrian0s/any-lang-embed-eval
منبع: arXiv NLP
