آیا تا به حال برایتان سوال شده که چرا در روش LoRA، گاهی مدل دچار «فراموشی فاجعه‌بار» (Catastrophic Forgetting) می‌شود؟ محققان در مقاله‌ای جدید، پدیده‌ای به نام «ابعاد مزاحم» (Intruder Dimensions) را شناسایی کرده‌اند که باعث افت کیفیت در مدل‌های آموزش‌دیده می‌شود.
نکات کلیدی این پژوهش:
✅ ارائه یک فرمول ریاضی دقیق برای پیش‌بینی لایه‌های بحرانی در زمان Fine-tuning.
✅ توانایی تفکیک لایه‌های آسیب‌پذیر از لایه‌های پایدار با دقت بسیار بالا (AUC 0.89).
✅ کمک به جلوگیری از افت عملکرد (Perplexity) مدل‌ها بدون نیاز به آزمون و خطای دستی.
این یافته جدید، یک گام بزرگ برای مهندسان هوش مصنوعی است تا با درک بهتر ریاضیات حاکم بر وزن‌های مدل، دقت و پایداری آموزش‌ها را به شدت افزایش دهند.
منبع: arXiv Machine Learning