اگر در حوزه آموزش مدلهای بزرگ (LLMs) فعالیت میکنید، حتما با روشهای PEFT مثل LoRA آشنا هستید. حالا روش جدیدی به نام CORA معرفی شده که قواعد بازی را تغییر داده است! 💡
این متد با استفاده از تحلیل SVD و یک چرخش متعامد هوشمند (Coherent Orthogonal Rotation)، به نتایج خیرهکنندهای رسیده است:
✅ کارایی بالاتر: تعداد پارامترهای آموزشپذیر را تا ۴ برابر نسبت به LoRA کاهش میدهد.
✅ دقت عالی: در تستهای استدلال منطقی و تولید کد، از مدلهایی مثل DoRA و PiSSA پیشی گرفته است.
✅ بهینگی: با استفاده از ۸ برابر پارامتر کمتر، عملکرد بهتری را ارائه میدهد.
این یعنی مدلهای شما نه تنها سریعتر آموزش میبینند، بلکه فضای کمتری هم اشغال میکنند. دنیای Fine-tuning هر روز جذابتر میشود! 🔥
های_زبانی
منبع: arXiv Machine Learning