آیا با چالش «جنگ گرادیانها» در مدلهای زبانی آشنا هستید؟ وقتی چندین وظیفه را همزمان به مدلهای بزرگ (LLM) آموزش میدهیم، معمولاً دقت آنها کاهش مییابد.
محققان بهتازگی راهکار خلاقانهای به نام Localized LoRA-MoE ارائه کردهاند که با استفاده از تکنیکهای هوشمندِ «مسیریابی پویا»، تداخل بین وظایف مختلف را به حداقل میرساند. این فناوری با تقسیمبندی دقیق و آموزش تخصصی در هر لایه، باعث میشود مدلها در محیطهای پیچیده و هنگام تغییر وظایف، عملکرد بسیار پایدارتر و دقیقتری داشته باشند.
این نوآوری گامی بزرگ برای رسیدن به مدلهای زبانیِ چندمنظوره و سازگارتر با نیازهای دنیای واقعی است. ✨
منبع: arXiv AI