محققان در تازهترین پژوهش خود، چارچوب جدیدی به نام «Soft-TransFormers» (یا Soft-TF) را معرفی کردهاند که تحولی در نحوه یادگیری مدلهای ترنسفورمر ایجاد میکند.
اصلیترین چالش در یادگیری مداوم، «فراموشی فاجعهبار» (Catastrophic Forgetting) است؛ یعنی وقتی مدل یک وظیفه جدید را یاد میگیرد، دانستههای قبلی خود را پاک میکند. این روش جدید با استفاده از ماسکهای نرم (Soft Subnetworks) روی لایههای ترنسفورمر، مدل را قادر میسازد بدون دستکاری وزنهای اصلی و دانش پیشین، مهارتهای جدیدی را به دقت و با ثبات بالا بیاموزد.
این یعنی مدلهای هوش مصنوعی میتوانند به مرور زمان، بدون از دست دادن حافظه گذشته، به یادگیرندههایی مادامالعمر تبدیل شوند. این تکنیک میتواند به بهبود چشمگیر مدلهای یادگیری کلاسی-افزایشی (Class-Incremental Learning) کمک کند. 📈
منبع: arXiv AI