محققان به راهکار جذابی برای ترکیب مدلهای تخصصی (Experts) دست یافتهاند! در روشهای فعلی، ترکیب مدلهای مختلف اغلب با چالش تداخل وزنها مواجه است. اما در متد جدیدی به نام «Dual-Tuned Experts» یا همان DTE، ابتدا از یادگیری «پرامپت» استفاده میشود تا بخش اصلی مدل ثابت بماند.
این رویکرد دو مرحلهای نه تنها باعث کاهش تغییرات پارامترهای خاص هر تسک میشود، بلکه باعث میشود مدلهای تخصصی با سازگاری بسیار بالاتری در کنار هم قرار بگیرند. نتایج آزمایشها روی معماریهای CLIP نشان میدهد که این روش عملکرد نهایی مدلهای ترکیبی را به طرز چشمگیری بهبود میبخشد. 🧠✨
منبع: arXiv Computer Vision