محققان در مقالهای جدید، روشی نوآورانه به نام «CoCurve» برای فشردهسازی مدلهای زبانی بزرگ (LLM) معرفی کردهاند.
🔹 چالش چیست؟ اکثر روشهای فعلی، واحدهای مدل (مانند Attention و FFN) را مستقل از هم بررسی میکنند، اما در ترنسفورمرها، این واحدها با هم در تعاملاند.
🔹 راهکار CoCurve: این روش بدون نیاز به آموزش مجدد (Fine-tuning)، بهصورت همزمان و با استفاده از محاسبات آماری دقیق، لایههای غیرضروری را شناسایی و حذف میکند تا مدل هم سبکتر شود و هم کاراییاش حفظ شود.
این پیشرفت میتواند مسیر اجرای مدلهای غولآسا روی سختافزارهای محدودتر را هموارتر کند.
منبع: arXiv AI