محققان در تحقیق جدید خود به یک چالش مهم در استفاده از مدلهای زبانی (LLM) برای نوشتن کدهای تست دست یافتهاند: «اثر گمراهی» (Misguidance Effect).
وقتی مدلها با کدهای دارای باگ مواجه میشوند، به جای شناسایی خطا، گاهی تستهایی مینویسند که آن رفتار غلط را تأیید میکند! این یعنی کدِ خراب باعث میشود هوش مصنوعی هم «گیج» شود و به جای پیدا کردن مشکل، آن را به عنوان یک رفتار درست بپذیرد.
راهکار جدید محققان؟
استفاده از «مستندات مشخصات» (Specification docstring) به جای خودِ کد در پرامپتها. این روش باعث میشود مدل کمتر دچار خطا شود و کیفیت تستهای تولید شده به شدت افزایش یابد. این یک قدم بزرگ برای مطمئنتر کردن ابزارهای کدنویسیِ هوشمند است. 🚀
منبع: arXiv Machine Learning