محققان روشی نوآورانه به نام «Context Tuning» معرفی کردهاند که یادگیری چند-نمونهای (Few-Shot) مدلهای زبانی بزرگ (LLMs) را متحول میکند.
🔹 داستان چیست؟ در روشهای معمولی، وقتی مدل با کمبود اطلاعات مواجه میشود، نمیتواند به خوبی خودش را تطبیق دهد. اما Context Tuning با استفاده از توانایی ذاتی مدل در یادگیری درونمتنی (In-Context Learning)، یک حافظه اختصاصی از مثالها ایجاد کرده و با استفاده از بهینهسازی مبتنی بر گرادیان، آن را دقیقتر میکند.
✅ نتیجه؟ عملکرد بهتر در بنچمارکهای مهمی مثل MMLU و ARC، بدون نیاز به تغییر در وزنهای اصلی مدل و با بهرهوری آموزشی بسیار بالاتر نسبت به متدهای سنتی. این یعنی مدلهای هوشمندتر با هزینه محاسباتی کمتر! 🧠✨
منبع: arXiv AI