اگر در حوزه آموزش یا فاینتیون کردن مدلهای بزرگ (LLM) فعالیت میکنید، حتماً با چالشهای LoRA آشنا هستید. حالا محققان روش جدیدی به نام SOS-LoRA ارائه دادهاند که نسخه ارتقایافتهای از LoRA است.
این روش با تقسیمبندی رنکهای مدل به زیرمجموعههایی از «متخصصهای ایستا» (Static Experts)، اجازه میدهد مدل بدون نیاز به پارامترهای اضافه در زمان اجرا، عملکرد بسیار بهتری در حل مسائل ریاضی و استدلالهای پیچیده داشته باشد. جالب اینجاست که این متد کاملاً با مدلهای قبلی ادغام (Merge) میشود و هیچ تأخیری در زمان پردازش ایجاد نمیکند! 💡
این یعنی دقت بالاتر بدون کاهش سرعت مدل. برای دسترسی به کد و جزئیات بیشتر میتوانید به گیتهاب این پروژه سر بزنید.
منبع: arXiv AI