یکی از چالشهای بزرگ در دنیای هوش مصنوعی، ارزیابی دقیق عملکرد ایجنتهایی است که با محیط رابط کاربری (GUI) کار میکنند. اکثر سیستمها فقط به اسکرینشات اکتفا میکنند، اما پژوهشگران مدل جدیدی به نام «IRA» معرفی کردهاند که فراتر میرود.
این مدل با بررسی وضعیت سیستم (مثل تنظیمات و فایلها) در کنار رابط بصری، به دقت بالایی در ارزیابی کارهای انجام شده توسط ایجنتها رسیده است. این یعنی سیستمهای خودکار حالا میتوانند در محیطهای پیچیده دسکتاپ، با دقت بسیار بیشتری وظایف را یاد بگیرند و اجرا کنند. 🚀
نتیجه این پژوهش، قدم بزرگی برای ارتقای توانمندی مدلها در انجام کارهای روزمره کاربران در سیستمعاملهاست.
منبع: arXiv AI