یکی از بزرگترین چالشهای هوش مصنوعی، یادگیری دانش جدید بدون فراموش کردن آموختههای قبلی (یادگیری مداوم) است. محققان به تازگی چارچوب «Mixtures of SubExperts» یا به اختصار MoSEs را معرفی کردهاند که تحولی در این زمینه ایجاد میکند.
این مدل با استفاده از یک معماری ماژولار و هوشمند، دانش را به بخشهای کوچکتر و قابل استفاده مجدد تقسیم میکند. نتیجه این کار، یادگیری پایدارتر، مقیاسپذیری بهتر و کاهش چشمگیر «فراموشی فاجعهبار» در مدلهای زبانی بزرگ است.
با این روش، مدلها میتوانند بدون نیاز به افزایش بیرویه پارامترها، دانش جدید را به راحتی ترکیب و مدیریت کنند. این یک قدم بزرگ دیگر به سوی مدلهایی است که واقعاً مانند ذهن انسان در طول زمان رشد میکنند! 💡
منبع: arXiv Machine Learning