تکنولوژی تبدیل متن به SQL (Text-to-SQL) این روزها پیشرفتهای زیادی داشته، اما در محیطهای کاری و سازمانی، مدلها همچنان با چالشهای بزرگی روبرو هستند. اینجاست که بنچمارک جدید «EntSQL» وارد میشود! 🚀
این بنچمارک بهطور اختصاصی برای ارزیابی مدلها در تحلیل اسنادِ پیچیده و تخصصیِ کسبوکارها طراحی شده است. محققان متوجه شدهاند که مدلهای فعلی برای درک قوانین سازمانی و گزارشدهیهای خاص، هنوز راه زیادی در پیش دارند. در آزمایشها مشخص شد که حتی بهترین سیستمها در مواجهه با اسناد طولانی سازمانی، دقت پایینی دارند که نشاندهنده اهمیت حیاتی تحقیقات در این حوزه برای آینده هوش مصنوعی در سازمانهاست.
منبع: arXiv NLP