مدلهای زبانی بزرگ (LLMs) با وجود قدرت بالا، هزینههای محاسباتی سنگینی دارند. حالا پژوهشگران با معرفی روش جدید «DarwinLM»، به سراغ یک راهکار نوآورانه برای Structured Pruning یا هرس ساختاریافته رفتهاند.
این متد که از فرآیندهای تکاملی الهام گرفته، با ایجاد نسلهای مختلف از مدل و انتخاب بهترین گزینهها پس از آموزشهای سبک، توانسته عملکردی فراتر از مدلهای مشابه (مانند ShearedLlama) ارائه دهد؛ آن هم با نیاز به ۵ برابر داده آموزشی کمتر! این یعنی سرعت بالاتر و بهینهسازی دقیقتر برای مدلهایی مثل Llama 3.1 و Qwen 2.5.
این پیشرفت میتواند مسیر را برای اجرای مدلهای قدرتمند روی سختافزارهای ضعیفتر هموارتر کند.
منبع: arXiv Machine Learning