آیا برای اینکه مدلهای هوش مصنوعی کدهای بهتری بنویسند، باید ابزارهای بیشتری به آنها بدهیم؟ یک مطالعه تازه نشان میدهد که جواب منفی است!
محققان با بررسی دهها پروژه برنامهنویسی توسط مدلهای مختلف، به نتایج جالبی رسیدند:
✅ اهمیت قدرت استدلال: افزایش «تلاش برای استدلال» (Reasoning Effort) باعث شد نرخ موفقیت در اولین تلاش از ۲۸٪ به ۸۹٪ جهش پیدا کند!
✅ بیفایده بودن ابزارهای جانبی: استفاده از ابزارهای تست در این آزمایشها نه تنها تا ۶۸٪ هزینهها را بالا برد، بلکه عملاً تأثیری در بهبود عملکرد یا قابلیت اطمینان کدها نداشت.
✅ تأثیر پرامپتها: پرامپتهای متمرکز بر طراحی، کیفیت بصری خروجی را به شدت افزایش دادند، اما روی عملکرد فنی تأثیری نداشتند.
نتیجه اخلاقی؟ به جای سنگین کردن مدلها با ابزارهای مختلف، روی افزایش قدرت فکر و تحلیل (Reasoning) آنها تمرکز کنید تا کدهای بدون نقصتری تحویل بگیرید. 🧠✨
منبع: arXiv AI
