تا امروز اکثر عاملهای هوشمند برای کار با کامپیوتر، مثل ما انسانها به «پیکسلها» و اسکرینشاتها تکیه میکردند. اما محققان مدل جدیدی به نام StateAct معرفی کردهاند که بازی را عوض میکند! 💻
نکته جذاب StateAct این است که به جای اتلاف وقت در تحلیل تصویری رابط کاربری، مستقیماً به «وضعیت برنامه» (Program State) دسترسی پیدا میکند. یعنی به جای نگاه کردن به عکسِ دکمه «ذخیره»، مستقیماً کدِ مربوط به آن را اجرا میکند.
نتایج فوقالعاده است:
✅ افزایش دقت مدل Claude Opus 4.8 از ۲۰٪ به ۲۷٪.
✅ کاهش ۹ برابری هزینههای پردازشی.
✅ پایداری بیشتر در انجام وظایف طولانیمدت.
به نظر میرسد آینده عاملهای خودکار، فراتر از دیدن و کلیک کردن، در تسلط بر منطق برنامهها نهفته است. نظر شما چیست؟
منبع: arXiv Computer Vision