محققان بهتازگی بنچمارک جدیدی به نام «Telco-GAIA» را معرفی کردهاند که به طور اختصاصی برای سنجش توانایی عاملهای هوشمند (Agents) در محیطهای مخابراتی طراحی شده است.
ویژگیهای کلیدی این پروژه:
🔹 دو زبانه (انگلیسی و عربی) و چندوجهی
🔹 استفاده از دادههای واقعی شرکتهای مخابراتی (شامل اسناد HTML، دیتابیسهای SQL و تصاویر)
🔹 بدون نیاز به مدلهای دیگر برای داوری (LLM-as-a-Judge)، که باعث میشود نتایج بسیار دقیق و قابلتکرار باشد.
نتایج اولیه نشان میدهد که حتی قدرتمندترین مدلهای زبانی فعلی هم در حل چالشهای پیچیده این بنچمارک با مشکل مواجه هستند که فضای زیادی را برای پیشرفت مدلهای تخصصی باز میگذارد. این یک قدم مهم به سوی اتوماسیون هوشمند در صنایع بزرگ است. 🌐⚙️
منبع: arXiv AI