محققان در یک مطالعه جدید، راهکار ساده و هوشمندانهای برای بهبود مدلهای زبانی (LLM) پیدا کردهاند. وقتی مدلها در یک چرخه خودآموز (مثل پرسش و پاسخ توسط خود مدل) قرار میگیرند، معمولاً به تکرار و درجا زدن دچار میشوند.
تکنیک «Vocabulary Dropout» با ایجاد تغییرات تصادفی در خروجی مدل هنگام آموزش، اجازه نمیدهد مدل در مسیرهای تکراری گیر کند. این کار باعث میشود مدلها در حل مسائل پیچیده ریاضی و استدلال، به مراتب خلاقتر و دقیقتر عمل کنند و شاهد پیشرفت چشمگیری در مدلهای Qwen3 باشیم. 🚀
منبع: arXiv NLP