یکی از بزرگترین چالشهای آموزش مدلهای زبانی (LLM) با دادههای تولید شده توسط خودِ هوش مصنوعی، پدیدهای به نام «Model Collapse» یا فروپاشی مدل است. در این شرایط، مدلها به جای پیشرفت، دچار سوگیری و افت کیفیت میشوند.
محققان در مطالعهای جدید، فریمورک نوآورانه «KITE» را معرفی کردهاند که با استفاده از «تولید داده مبتنی بر شکست» و «اعتبارسنجی عدم قطعیت»، از این فروپاشی جلوگیری میکند. این روش باعث میشود مدلها در طول فرآیند آموزش تعاملی، به جای تکرار اشتباهات، به شکلی پایدار و واقعی رشد کنند. پیشرفت بزرگی برای مدلهای خودآموز! 🧠💡
منبع: arXiv NLP