حتماً شنیدهاید که میگویند برای گرفتن بهترین نتیجه از مدلهای زبانی (LLM)، مثالهای «Few-shot» بیشتری به آنها بدهید. اما تحقیقات جدید یک پدیده عجیب به نام «Over-prompting» یا «پرامپتنویسی بیش از حد» را کشف کرده است!
دانشمندان با بررسی مدلهای قدرتمندی مثل GPT-4o، DeepSeek-V3 و LLaMA، متوجه شدند که افزودن بیش از حد مثالهای تخصصی، نه تنها به عملکرد مدل کمک نمیکند، بلکه میتواند باعث افت کیفیت پاسخدهی شود. 📉
نکته طلایی این تحقیق:
برای هر مدل، یک «تعداد بهینه» از مثالها وجود دارد و فراتر رفتن از آن، نتیجه عکس میدهد. با استفاده از روشهای هوشمند انتخاب داده، میتوان با مثالهای کمتر، دقت مدل را تا ۱٪ بیشتر از روشهای فعلی در پروژههای مهندسی نرمافزار افزایش داد.
نتیجه اخلاقی: در دنیای پرامپتها، همیشه «بیشتر» به معنای «بهتر» نیست!
منبع: arXiv NLP
