💡 ترکیب مدل‌های زبانی؛ آیا ادغام مدل‌های ناهمگون بدون آموزش اضافه ممکن است؟

در دنیای هوش مصنوعی، همیشه صحبت از آموزش مدل‌های غول‌آساست، اما محققان در پژوهش جدیدی به سراغ یک راهکار جذاب رفته‌اند: ادغام مدل‌های زبانی (LLM Merging) به روشی ساده و بدون نیاز به آموزش مجدد!

این مطالعه نشان می‌دهد که می‌توان با استفاده از تکنیک‌های هوشمندانه «تطبیق ابعادی» و «درون‌یابی دقیق»، مدل‌هایی با ساختارهای متفاوت را با هم ترکیب کرد. نتیجه؟ مدلی که می‌تواند قابلیت‌های مکمل هر دو مدل اصلی را داشته باشد، بدون اینکه نیاز به صرف هزینه‌های سنگینِ آموزش مجدد باشد. البته این مسیر چالش‌های خودش را هم دارد و گاهی ممکن است باعث ایجاد تداخل در برخی توانایی‌ها شود، اما به عنوان یک «بیس‌لاین» (Baseline) بسیار قدرتمند شناخته می‌شود.

این دستاورد می‌تواند راه را برای ساخت مدل‌های شخصی‌سازی‌شده و کارآمدتر با ترکیب قدرت مدل‌های مختلف باز کند.

‌نویسی

منبع: arXiv AI