آیا هوش مصنوعی واقعاً میفهمد که چه کاری انجام میدهد یا فقط در حال حدس زدن است؟ محققان در مطالعهای جدید، بنچمارک پیشرفتهای به نام STOCKTAKE طراحی کردهاند تا برای اولین بار، دلیل شکست «ایجنتهای خودمختار» در کارهای پیچیده (مثل مدیریت زنجیره تأمین) را ریشهیابی کنند.
این بنچمارک به ما نشان میدهد که ایجنتها گاهی اطلاعات محیط را درست میخوانند اما در «عمل» شکست میخورند؛ چیزی که محققان به آن «شکاف دانستن-انجام دادن» (Knowing-Doing Gap) میگویند. آزمایش روی مدلهای قدرتمندی مثل Claude Sonnet 5 و GPT-5.4 نشان داد که حتی با درک درست موقعیت، برخی مدلها در کنترل نهایی عملکرد ضعیفی دارند. این گامی بزرگ برای ساخت ایجنتهای قابلاطمینانتر در آینده است! 📈
منبع: arXiv AI