محققان در یک مطالعه تازه، به بررسی عمیق دلایل موفقیت چشمگیر LoRA در مدلهای بینایی-زبانی پرداختهاند. برخلاف تصور رایج که آموزش کامل پارامترها (Full-parameter) را استاندارد میداند، این پژوهش نشان میدهد که تنظیمات کمرتبه نه تنها هزینههای محاسباتی را بهشدت کاهش میدهند، بلکه در اکثر بنچمارکها از مدلهای کامل پیشی میگیرند!
نکات کلیدی این مقاله:
🔹 کاهش توهمات (Hallucination) مدل و حرکت به سمت پاسخهای دقیقتر و محافظهکارانه.
🔹 حل مشکل LS-curse که در آموزش کامل رخ میدهد.
🔹 توضیح ریاضیِ اینکه چرا مدلهای کمرتبه در حفظ دانش بصری بسیار پایدارتر عمل میکنند.
این یافتهها مسیر تازهای برای توسعه مدلهای چندوجهیِ بهینهتر و باهوشتر باز میکند. 🧠🚀
منبع: arXiv Computer Vision