اگر با تکنیک LoRA برای آموزش مدلهای زبانی بزرگ آشنا باشید، حتما میدانید که بهینهسازهایی مثل Adam استاندارد اصلی هستند. اما محققان در یک مقاله جدید، راهکار جدیدی به نام «PoLoRA» را معرفی کردهاند که دنیای فاینتیونینگ (Fine-tuning) را دگرگون میکند.
💡 چرا PoLoRA جذاب است؟
این روش با در نظر گرفتن ساختار ماتریسی LoRA و استفاده از یک رویکرد «پیششرطسازی ارتوگونال»، توانسته است:
✅ سرعت آموزش را ۱.۲ تا ۱.۷ برابر افزایش دهد.
✅ حساسیت به نرخ یادگیری (Learning Rate) را کاهش دهد.
✅ کارایی بسیار بالاتری نسبت به Adam در مدلهای ۱ تا ۸ میلیارد پارامتری نشان دهد.
این یعنی آموزش مدلهای هوش مصنوعی با هزینه کمتر و دقت بالاتر در دسترستر خواهد بود!
های_زبانی
منبع: arXiv Machine Learning