تا به حال فکر کردهاید که چطور میتوان عملکرد دقیق ایجنتهای برنامهنویس را سنجید؟ اکثر بنچمارکهای فعلی فقط به نتیجه نهایی (پاس/فیل) توجه میکنند، اما ابزار جدید AgentLens پا را فراتر گذاشته است!
این پروژه متنباز نه تنها نتیجه، بلکه «مسیر رسیدن به پاسخ» شامل نحوه استفاده از ابزارها، بررسی کدها و حتی اصلاح خطاها را توسط مدلهای هوش مصنوعی تحلیل میکند. این یک گام بزرگ برای توسعهدهندگانی است که میخواهند ایجنتهای کدنویس خود را دقیقتر عیبیابی و بهینهسازی کنند. 🛠️💻
برای دسترسی به این بنچمارک میتوانید به مخزن گیتهاب آنها سر بزنید.
نویسی
منبع: arXiv AI