همه ما میدانیم که دستیارهای کدنویس هوش مصنوعی گاهی دچار تناقض میشوند؛ مثلاً ممکن است مستندات یک تابع درست باشد اما کدِ پیادهسازی شده ایراد داشته باشد. محققان به تازگی روشی به نام «TRACE» معرفی کردهاند که دقیقاً همین چالش را ارزیابی میکند.
در این پژوهش، مدلها با مجموعهای از کدهای واقعی و دستکاریشده به چالش کشیده شدند تا ببینند آیا میتوانند تناقضات بین کد و مستندات را تشخیص دهند یا خیر. نتایج نشان میدهد هوش مصنوعی در تشخیص خطاهای مستندات عالی عمل میکند، اما وقتی مشکل در خودِ کد پنهان باشد، کارایی آن به شدت کاهش مییابد.
این تحقیق گامی مهم برای توسعه دستیارهای برنامهنویسیِ قابلاعتمادتر است! 💻✨
منبع: arXiv AI