محققان در یک پژوهش جدید و بسیار جذاب به سراغ بررسی «ترکیب یا Merge کردن LoRAها» رفتهاند؛ تکنیکی که این روزها در دنیای مدلهای زبانی بسیار محبوب شده است. 🧠
نکته جالب اینجاست که آنها با بررسی نزدیک به ۱۰۰۰ مدل LoRA در هاب Hugging Face به نتایج تأملبرانگیزی رسیدهاند:
۱. استفاده از LoRAهای تصادفی (حتی با پارامترهای رندوم!) نتایجی مشابه با ترکیب LoRAهای آموزشدیده میدهد.
۲. این روش احتمالاً بیشتر از اینکه باعث انتقال دانش (Cross-task transfer) شود، مثل یک ابزار «تنظیمکننده» (Regularization) عمل میکند.
به عبارت سادهتر، شاید آنقدرها که فکر میکردیم جادویی نباشد! دنیای فاینتیونینگ مدلها همچنان پر از معماهای هیجانانگیز است. نظر شما چیست؟ آیا فکر میکنید هنوز هم راهی برای بهینهسازی بهتر این مسیر وجود دارد؟
منبع: arXiv Machine Learning