محققان در تازهترین پژوهش خود، بنچمارک جدیدی به نام «AdaPlanBench» را معرفی کردهاند که سطح واقعی توانایی مدلهای زبانی (LLMs) در حل مسائل پیچیده و تغییرپذیر را به چالش میکشد. 🧠💡
ماجرا از این قرار است که اکثر مدلهای فعلی وقتی با شرایطِ مدام در حال تغییر (محدودیتهای دنیای واقعی و نیازهای کاربر) مواجه میشوند، عملکردشان افت میکند. این بنچمارک با ۳۰۷ وظیفه خانگی مختلف، هوش مدلها را در شرایطی میسنجد که محدودیتها بهصورت مرحلهای فاش میشوند.
نتایج؟ حتی بهترین مدلها هم تنها حدود ۶۸٪ موفقیت داشتند! به نظر میرسد هنوز مسیر زیادی تا رسیدن به «هوش برنامهریز» واقعی باقی مانده است. 📉
ریزی_هوشمند
منبع: arXiv NLP
