یکی از بزرگترین چالشهای مدلهای زبانی بزرگ، «فراموشی فاجعهبار» (Catastrophic Forgetting) هنگام یادگیری وظایف جدید است. محققان به تازگی متد جدیدی به نام PASs-MoE را معرفی کردهاند که با استفاده از فضای زیرمجموعه فعالسازی مسیر (Pathway Activation Subspace)، از انحراف و تداخل مسیرهای یادگیری در مدلهای «مخلوطی از خبرگان» (MoE) جلوگیری میکند.
این روش نه تنها دقت مدل را در یادگیری مداوم افزایش میدهد، بلکه بدون افزایش تعداد پارامترها، از تخصص پیدا کردن مدل برای هر وظیفه محافظت میکند. گام بزرگی برای ساخت هوش مصنوعیهایی که بدون فراموش کردن دانش قبلی، دائماً در حال یادگیری هستند! 🧠✨
منبع: arXiv AI