تکنیک LoRA یکی از محبوبترین روشها برای شخصیسازی و فاینتیون کردن مدلهای هوش مصنوعی است، اما همیشه جای بهبود داشته. محققان به تازگی الگوریتم جدیدی با نام «Manifold-LoRA» معرفی کردهاند که با تغییر رویکرد در بهینهسازی ریاضی (استفاده از بهینهسازی روی منیفولد Stiefel بدون نیاز به روشهای سنتی پیچیده)، آموزش مدلها را سریعتر و بهینهتر میکند.
این روش جدید نهتنها محاسبات را سبکتر کرده، بلکه پایداری آموزش را برای مدلهای بزرگ افزایش میدهد تا شاهد خروجیهای دقیقتری باشیم. گامی کوچک اما مهم برای کاهش هزینههای محاسباتی در دنیای LLMها! 🧠💡
منبع: arXiv AI