آیا تا به حال متوجه شدید که مدلهای زبانی (LLM) گاهی کدهایی مینویسند که در ظاهر درست است اما در شرایط خاص یا ورودیهای غیرمعمول شکست میخورند؟
تحقیقات جدید نشان میدهد که راه حل این مشکل نه در افزایش تستها، بلکه در «Grounding» یا همان متصل کردن تستها به «مشخصات و قوانین (Specification)» پروژه است. 📝
🔹 خلاصه یافتهها:
وقتی به مدل میگویید تستها را بر اساس یک چکلیست دقیق از قوانین بنویسد، نرخ تولید کدهای صحیح تا ۳۸ درصد افزایش مییابد!
🔹 نتیجه جالب:
این تحقیق ثابت کرد که محتوا و دقتِ پرامپت (دادن مشخصات به مدل) بسیار مهمتر از تعداد تستهایی است که مدل برای خودش تولید میکند.
اگر در حال توسعه اپلیکیشن یا ابزارهای مبتنی بر کد هستید، این رویکرد جدید میتواند به شما کمک کند کدهایی بسیار پایدارتر و باگهای کمتر تولید کنید.
منبع: arXiv AI