محققان در مقاله جدیدی روشی خلاقانه به نام «Subspace-Aligned Rewiring» یا همان SAR معرفی کردند که تحولی در دنیای آموزش و ترکیب (Merging) مدلهای هوش مصنوعی ایجاد میکند.
🔸 ماجرا چیست؟
آموزشهای سنگین روی مدلهای زبانی (LLM) معمولاً باعث ایجاد دو مشکل بزرگ میشوند: کاهش توانایی استدلال مدل و تداخل در هنگام ترکیب قابلیتهای مختلف. روش جدید SAR با تمرکز بر «فضای طیفی» مدل، بخشهای زائد و مضر را حذف کرده و هسته اصلی استدلال مدل را حفظ میکند.
🚀 چرا این خبر مهم است؟
• استفاده از تنها ۰.۵۸٪ پارامترها برای حفظ بیش از ۹۹٪ کارایی مدل.
• بهبود چشمگیر در حل مسائل ریاضی و کدنویسی.
• حذف تداخل بین دامنههای آموزشی مختلف برای داشتن مدلهای باهوشتر و چندمنظورهتر.
این روش نه تنها برای توسعهدهندگان، بلکه برای آینده مدلهای هوش مصنوعی که قرار است بدون افت کیفیت در حوزههای مختلف عمل کنند، بسیار نویدبخش است. 🔥
منبع: arXiv AI