یکی از بزرگترین چالشهای دنیای هوش مصنوعی، سنگین بودن مدلهای زبانی بزرگ (LLM) و سخت بودن اجرای آنها روی دستگاههای ضعیفتر مثل موبایل یا سیستمهای تعبیهشده است. حالا محققان با ارائه یک متد جدید «هرسسازی ساختاریافته» (Structured Pruning)، راهکار جذابی برای حل این مشکل پیدا کردهاند.
این روش دو مرحلهای، ابتدا بخشهای غیرضروری مدل (لایهها و سرها) را حذف کرده و سپس با استفاده از «بهینهسازی بیزی»، بهترین نسبت هرسسازی را برای حفظ عملکرد مدل در عین کاهش چشمگیر تاخیر (Latency) پیدا میکند. با این دستاورد، احتمالاً بهزودی شاهد هوش مصنوعیهای قدرتمندتر و سریعتری روی دستگاههای شخصیمان خواهیم بود. 📱⚡️
منبع: arXiv AI