محققان در مقالهای جدید روش نوآورانهای به نام CANON (Consensus-ANchored self-distillatiON) را معرفی کردند که دقت مدلهای زبانی را در مسائل پیچیده ریاضی و علمی بهطور قابلتوجهی افزایش میدهد.
این روش بر پایه «توافق جمعی» (Consensus) استوار است. به جای استفاده ساده از خروجیهای مدل، CANON از توافقِ بین پاسخهای مختلف به عنوان یک «معلم» استفاده میکند تا مدل را در سطح توکن آموزش دهد. نتیجه این است که مدل میتواند با هزینه بسیار کمتر، به دقتی نزدیک به مدلهایی که با دادههای انسانی آموزش دیدهاند، دست پیدا کند. این یک قدم بزرگ برای آموزش مدلهای قدرتمند بدون نیاز به برچسبهای انسانی (Label-free) است! 🧠✨
منبع: arXiv AI