اگر در حوزه فاینتیونینگ مدلهای زبانی فعالیت میکنید، حتما با محدودیتهای روش LoRA آشنا هستید. محققان به تازگی چارچوب جدیدی به نام PrunedLoRA معرفی کردهاند که فراتر از LoRA معمولی عمل میکند.
تکنیک جذاب این روش این است که به جای اختصاص رتبه (Rank) ثابت، از «هرس ساختاریافته» (Structured Pruning) استفاده میکند تا در طول آموزش، اجزای غیرضروری را حذف کرده و مدل را سبکتر و در عین حال دقیقتر کند. این یعنی شما میتوانید آداپتورهایی با بازدهی بالاتر برای استدلال ریاضی و کدنویسی داشته باشید.
این تحقیق نشان میدهد که میتوان با حذف هوشمندانه پارامترها، هم سرعت مدل را حفظ کرد و هم کیفیت خروجی را در مقایسه با روشهای فعلی افزایش داد.
نویسی
منبع: arXiv AI