یکی از بزرگترین چالشهای مدلهای زبانی (LLM)، «فراموشی فاجعهبار» هنگام یادگیری وظایف جدید است. حالا محققان با معرفی روش نوآورانه «Latent-LoRA»، این مشکل را به شکلی متفاوت حل کردهاند!
🔹 نکات کلیدی این روش:
✅ حذف نیاز به ماژولهای مسیریابی (Gating) پیچیده و آموزشپذیر.
✅ استفاده از مدل آمیخته گاوسی (GMM) روی فضای نهفته برای انتخاب هوشمند آداپتورها.
✅ بهرهگیری از SVD برای ایجاد آداپتورهای بسیار فشرده و بهینه.
✅ عملکرد درخشان در سناریوهای یادگیری مداوم بدون نیاز به بازپخش دادههای قبلی.
این تحقیق گام مهمی در جهت ساخت مدلهای هوش مصنوعی است که میتوانند بدون فراموش کردن دانش قبلی، دائماً مطالب جدید بیاموزند. 🚀
منبع: arXiv Machine Learning