🧏‍♂️ پیشرفت در درک زبان اشاره با هوش مصنوعی

محققان در پژوهش جدید خود، گام مهمی در جهت بهبود مدل‌های «ترجمه زبان اشاره» (ASL) برداشته‌اند. تا به امروز، مدل‌های هوش مصنوعی در ترجمه زبان اشاره از مدل‌های متنی عقب‌تر بودند.

این تیم با معرفی یک بنچمارک جدید به نام «ASL-MTP»، توانسته‌اند تحلیل کنند که مدل‌های فعلی چقدر جزئیات بصری زبان اشاره (مثل حرکات دست و چهره) را درک می‌کنند. نتایج نشان می‌دهد که مدل‌های فعلی هنوز در تشخیص نشانه‌های ظریفِ صورت ضعف دارند و بیشتر بر حرکات دست تمرکز می‌کنند.

این تحقیق مسیر جدیدی را برای توسعه مدل‌های فراگیرتر که می‌توانند پیام‌های غیرکلامی زبان اشاره را هم به‌درستی درک کنند، باز کرده است.

منبع: arXiv NLP