محققان در مقالهای جدید، راهکاری برای حل یکی از چالشهای بزرگ دنیای LLMها پیدا کردهاند: چگونه بدون صرف هزینههای سنگینِ آموزش، مدلهایی با ابعاد دلخواه بسازیم؟
این روش که «Layer Patching» نام دارد، با جایگزینی هوشمندانه لایههای مدل کوچکتر با بخشهایی از مدلهای بزرگتر (Teacher)، امکان رسیدن به عملکردی بینابین را فراهم میکند. در این مطالعه، علاوه بر اثبات بهینگی این فرآیند، الگوریتم جدیدی به نام «KLPatch» معرفی شده که با استفاده از دیورژانس KL، انتخاب لایهها را به شکل چشمگیری دقیقتر میکند. خبر خوبی برای توسعهدهندگانی که به دنبال کارایی بیشتر با منابع محدودتر هستند! 🧠✨
منبع: arXiv Machine Learning
