محققان در مقالهای جدید، روشی نوآورانه برای بهینهسازی لایههای مدلهای زبانی (LLMs) ارائه دادند. این متد جدید که بر پایه مفاهیم «کاهش طول توصیف» (MDL) و تحلیل انحنای لایهها طراحی شده، به مدل کمک میکند تا بفهمد کدام لایهها واقعاً در یادگیری نقش کلیدی دارند و کدامها تا حد زیادی اضافی هستند.
با این روش، میتوان تخصیص منابع سختافزاری و حذف لایههای غیرضروری (Pruning) را بهصورت کاملاً بهینه انجام داد تا بدون افت کیفیت، سرعت و کارایی مدلها به طرز چشمگیری افزایش یابد. آزمایشهای اولیه روی مدلهای Mistral-7B و Gemma-7B نتایج بسیار امیدوارکنندهای را نشان داده است.
سازی
منبع: arXiv Machine Learning