محققان با معرفی بنچمارک جدیدی به نام «LiveOIBench»، توانایی مدلهای زبانی (LLM) را در حل مسائل پیچیده المپیادهای انفورماتیک جهانی به چالش کشیدهاند. این بنچمارک شامل ۴۰۳ مسئله تخصصی است که مستقیماً با عملکرد نخبگان انسانی مقایسه شده است.
نتایج جالب هستند: مدلهایی مثل GPT-5 با وجود پیشرفتهای چشمگیر، هنوز به سطح برترین رقابتکنندگان انسانی نرسیدهاند و در ردههای پایینتر قرار میگیرند. این گزارش نشان میدهد که مدلهای هوش مصنوعی هنوز در مرحله «تحلیل دقیق مسئله» به جای «جستجوی کورکورانه» نیاز به بهبودهای جدی دارند. 💻🚀
منبع: arXiv AI