محققان در مقالهای جدید، متد آموزشی تازهای به نام «STP» (مخفف State Transition Pretraining) معرفی کردند که انقلابی در عملکرد ایجنتهای رابط کاربری (GUI Agents) ایجاد میکند.
این روش با مدلسازی دقیقتر از تغییرات بصری و پیشبینی کنش و واکنشها، به مدلهای هوش مصنوعی اجازه میدهد دنیای محیطهای دسکتاپ و موبایل را بهتر درک کنند. نتایج نشان میدهد ایجنتهایی که با این متد آموزش دیدهاند، در بنچمارکهای مختلف بسیار هوشمندتر و دقیقتر از مدلهای معمولی عمل میکنند.
بهنظر میرسد بهزودی شاهد ایجنتهای بسیار توانمندتری خواهیم بود که میتوانند مثل یک کاربر واقعی با گوشی یا کامپیوتر کار کنند! 📱💻
منبع: arXiv AI