آیا هوش مصنوعی واقعاً میتواند کدهای پیچیده را بهینه کند؟ محققان بهتازگی بنچمارک جدیدی به نام «FormulaCode» معرفی کردهاند که توانایی ایجنتهای کدنویس را در محیطهای واقعی و بزرگ به چالش میکشد. 💻🤖
این بنچمارک شامل بیش از ۹۵۰ نقطه گلوگاه عملکردی در مخازن علمی پایتون است و به جای تستهای ساده، قدرت ایجنتها را در بهینهسازی واقعی کدها تحت محدودیتهای سختگیرانه میسنجد. نتیجه تحقیقات نشان میدهد که بهینهسازیِ چندهدفه در ابعادِ مخازنِ بزرگ، همچنان یکی از سدهای اصلی پیشروی مدلهای هوش مصنوعی است.
منبع: https://formula-code.github.io
نویسی
منبع: arXiv AI