آیا روش محبوب LoRA برای همه کارهای هوش مصنوعی مناسب است؟ تحقیقات جدید نشان میدهد که وقتی صحبت از «دانش رویهای» و انجام وظایف چندمرحلهای (مثل سیستمهای رزرو یا پشتیبانی مشتری) در میان باشد، LoRA نمیتواند به دقت «Fine-tuning کامل» دست یابد.
نتایج بررسیها نشان میدهد که برای کارهای پیچیده، افزایش Rank در LoRA هم مشکل را حل نمیکند، زیرا تغییرات وزن در این نوع وظایف به صورت «Low-rank» نیستند. به زبان ساده: برای کارهای دقیق و ساختاریافته، هنوز هم آموزش کامل مدل (Full Fine-tuning) عملکرد بهتری نسبت به روشهای بهینهسازی پارامتر دارد.
این یافته برای توسعهدهندگانی که روی ایجنتهای هوشمند با جریان کاری پیچیده کار میکنند، بسیار حیاتی است.
منبع: arXiv AI