در دنیای LLMها، خیلیها فکر میکنند با تغییر دمای مدل (Sampling Temperature)، میتوانند پاسخهای متنوعتر و ساختاریافتهتری دریافت کنند. اما نتایج یک پژوهش جدید در آرکایو نشان میدهد که این «تنوع نمونهبرداری» در واقع بسیار سطحی است!
محققان با مقایسه ۱۰۰ بار اجرای یک مدل با دمای ۱ در مقابل اجرای ۲۴ مدل مختلف، متوجه شدند که نمونهبرداری تصادفی (Stochastic Sampling) برخلاف باور عمومی، نمیتواند ساختار عمیقی از دانش یا عدم قطعیت مدل را برملا کند. در واقع، تنها راه برای درک واقعیِ نقاط ضعف مدل، استفاده از «تنوع واقعی» در قالب یک آنسامبل (Ensemble) از مدلهای مختلف است. این یعنی برای رسیدن به دقت بالاتر، نباید فقط به تغییر پارامترهای یک مدل تکیه کرد.
به نظر شما، آیا آینده مدلهای زبانی در ترکیب هوشمند چندین مدل نهفته است یا بهینهسازی مدلهای واحد؟ نظرتون رو برامون بنویسید! 👇
منبع: arXiv AI