محققان در یک پژوهش تازه، به سراغ زبانهای اقلیت ویتنام (Cham، Khmer و Tay-Nung) رفتهاند که جای خالی آنها در مدلهای زبانی حس میشد.
چالش اصلی؟ این زبانها به دلیل تفاوت در رسمالخط و ساختار، با مدلهای استاندارد فعلی به درستی پردازش نمیشوند و اصطلاحاً دچار «تکه تکه شدن» (Fragmentation) میشوند.
تیم محققان با معرفی مجموعه داده و بنچمارک جدید CKTN، روشی به نام «Script-aware adaptation» را پیشنهاد دادند که با ترکیب افزایش واژگان و پیشآموزشهای کالیبرهشده، دقت مدلها را به طرز چشمگیری بهبود بخشیده است. این دستاورد نشان میدهد که در مسیر هوش مصنوعیِ فراگیر، باید فراتر از زبانهای غالب جهانی حرکت کرد! 🚀
منبع: arXiv NLP
