تا حالا فکر کردید که هوش مصنوعی چقدر میتواند در تبدیل اسکرینشاتها به کدهای اجرایی وب دقیق باشد؟ برخلاف روشهای سنتی که فقط روی ظاهر گرافیکی تمرکز دارند، محققان در پژوهش جدیدی، بنچمارک «UI2App» را معرفی کردهاند که به طور اختصاصی «قابلیتهای تعاملی» برنامههای وب تولید شده توسط AI را ارزیابی میکند.
نکته جالب اینجاست که حتی مدلهای پیشرو و قدرتمند فعلی هم در درک تعاملات پیچیده کاربر از روی تصاویر، هنوز جای کار دارند. این بنچمارک کمک میکند تا مدلهای آینده، فراتر از ظاهر، درک واقعیتری از رفتار یک سایت داشته باشند.
منبع: arXiv AI