محققان در پژوهشی جدید، فریمورک نوآورانه «LAARA» را برای «تنظیم دقیقِ کارآمدِ پارامترها» (PEFT) معرفی کردهاند. برخلاف روشهای سنتی مثل LoRA که برای تمام لایههای مدل از رتبه (Rank) یکسان استفاده میکنند، LAARA به صورت هوشمند و پویا، رتبهی مناسب را برای هر لایه بهطور مجزا اختصاص میدهد.
این روشِ بدون نیاز به جستجو (Search-free)، با استفاده از تخمینهای Fisher، دقت مدل را افزایش داده و در عین حال تعداد پارامترهای آموزشپذیر را بهشدت کاهش میدهد. نتایج این مدل در بنچمارکهای مهمی مثل GLUE بسیار درخشان بوده و از روشهای محبوبی مثل AdaLoRA و DyLoRA پیشی گرفته است. 📈
منبع: arXiv Machine Learning