محققان در مقالهای جدید، روش نوآورانهای به نام NITP (Next Implicit Token Prediction) را معرفی کردهاند که فراتر از پیشبینی کلمه بعدی در مدلهای زبانی معمولی عمل میکند.
این روش با اضافه کردن نظارت پیوسته در فضای نمایش معنایی (Representation Space)، از انحراف مدل جلوگیری کرده و باعث میشود مدلها ساختار دقیقتری یاد بگیرند. نتایج خیرهکننده است: در مدلهای ۹ میلیاردی، شاهد بهبود ۵.۷ درصدی در بنچمارک MMLU-Pro بدون افزایش هزینه در زمان استفاده (Inference) هستیم! 🔥
این یعنی هوش مصنوعیهای آینده با همین منابع فعلی، بسیار دقیقتر و منطقیتر عمل خواهند کرد.
🔗 لینک پروژه: https://github.com/aHapBean/NITP
منبع: arXiv NLP
