محققان در یک پژوهش تازه متوجه شدند که در ارزیابی «عوامل برنامهنویس» (Coding Agents)، بخش مهمی به نام «سکفولد» یا همان چارچوب اجرایی (Harness) نادیده گرفته میشود.
🔹 نکته کلیدی اینجاست: انتخاب محیط اجرا (مانند Goose یا OpenHands) میتواند تا ۴۰ برابر تفاوت در مصرف توکن ایجاد کند، در حالی که تفاوت قدرت خودِ مدل در حل مسائل بسیار ناچیز است!
این یعنی برای توسعهدهندگان، انتخاب یک ترکیب «مدل + چارچوب اجرایی» بهینه، بسیار حیاتیتر از صرفاً نگاه کردن به نام مدل است. وقت آن رسیده که در ارزیابیها، علاوه بر دقت، به هزینهها و تاخیرهای عملیاتی نیز توجه ویژه داشته باشیم. 🚀
نویسی
منبع: arXiv AI