محققان تکنیک جدیدی به نام «ReCoLoRA» را معرفی کردهاند که مشکل بزرگ «فراموشی فاجعهبار» در تنظیم دقیق مدلهای زبانی (LLM) را حل میکند. در روشهای معمول مثل LoRA، با آموزش مدل روی کارهای جدید، دانش کارهای قبلی به مرور پاک میشود.
ویژگیهای کلیدی ReCoLoRA:
✅ استفاده از تجزیه مقادیر منفرد (SVD) برای تثبیت دانش قبلی.
✅ ادغام بازگشتی آداپتورها که باعث میشود مدل هر کار جدید را بر پایه دانشِ جذبشده از مراحل قبل شروع کند.
✅ بهرهوری بالاتر در پارامترها و کسب امتیازات برتر نسبت به رقبای قدرتمندی مثل DoRA و AdaLoRA.
این نوآوری گام بزرگی برای آموزش مدلهایی است که باید در طول زمان، مهارتهای جدیدی را بدون از دست دادن دانش قبلی یاد بگیرند. 🧠✨
🔗 مطالعه بیشتر و دسترسی به کدها: https://github.com/bhqy666/ReCoLoRA
منبع: arXiv Computer Vision