یکی از بزرگترین مشکلات یادگیری مداوم (Continual Learning) در مدلهای بزرگ هوش مصنوعی، فراموش کردن اطلاعات قدیمی هنگام یادگیری دانش جدید است. محققان به تازگی روش نوآورانهای به نام «Gate-Zero Growth» معرفی کردهاند که اجازه میدهد مدلها بدون تخریب دانش قبلی، بزرگتر و هوشمندتر شوند.
این روش با استفاده از یک معماری هندسی خاص، به مدلها کمک میکند تا در حین رشد، «ردپای» قبلی خود را حفظ کنند. آزمایشها نشان میدهد که این تکنیک در مدلهای ترنسفورمر، باعث کاهش چشمگیر فراموشی (near-zero forgetting) شده و راه را برای ساخت مدلهای سازگارتر باز میکند. 📈✨
منبع: arXiv Machine Learning
