محققان در مطالعهای جدید، بنچمارک جدیدی به نام OmegaUse-OfficeVal را معرفی کردهاند که به طور اختصاصی عملکرد ایجنتهای هوش مصنوعی (AI Agents) را در انجام کارهای پیچیده و طولانیمدت اداری بررسی میکند.
نکته کلیدی این تحقیق، بررسی «صرفه اقتصادی» است! در این بنچمارک، زمان و هزینه صرف شده توسط انسان با هزینه پردازش مدلهای هوش مصنوعی مقایسه شده است. نتایج نشان میدهد که اگرچه ایجنتها به شدت سریعتر و ارزانتر از نیروی انسانی هستند، اما هنوز از نظر کیفیت خروجی به دقت انسان نرسیدهاند. این ابزار کمک میکند تا بفهمیم ایجنتها تا چه حد برای جایگزینی یا تقویت کارهای اداری واقعی آماده هستند.
🔗 جزئیات بیشتر و دسترسی به کد پروژه:
https://omegause-officeval.github.io
منبع: arXiv AI