یکی از چالشهای بزرگ در مدلهای زبانی چندوجهی (MLLM)، یادگیری دانش جدید بدون تخریب اطلاعات قبلی است. روشهای فعلی معمولاً باعث «رانش» یا فراموشی دانشهای قبلی مدل میشوند.
محققان در پژوهش جدید خود، متد «RoCo-ACE» را معرفی کردند که با استفاده از فرآیند «تقطیر آنلاین» (Online Distillation) و اصلاحات هدفمند، به مدل اجازه میدهد دانش جدید را دقیقتر بیاموزد، بدون اینکه رفتارهای قبلی و اصولیاش دچار اختلال شود.
این نوآوری گام مهمی در جهت ساخت مدلهای هوشمندتر و پایدارتر برای کاربردهای تخصصی است.
منبع: arXiv AI