محققان در مقاله جدیدی، تکنیک نوآورانهای به نام GeoSD (Geometric Self-Distillation) را برای بهبود دقت استدلال در مدلهای زبانی بزرگ معرفی کردهاند.
مشکل اصلی در روشهای سنتیِ آموزش (Self-Distillation)، انحراف یا «دریفت» مدل از مسیر درست در هنگام یادگیری است. GeoSD با استفاده از مفاهیم هندسی و جایگزینی روشهای قدیمی، جلوی این انحراف را میگیرد و باعث میشود مدلها در مسائل پیچیده ریاضی و استدلالی، خروجیهای دقیقتر و قابلاعتمادتری ارائه دهند. این دستاورد گام مهمی در جهت افزایش قابلیت اعتماد به LLMها برای کارهای تخصصی است! 🚀
منبع: arXiv Machine Learning