همیشه بین استفاده از «انسمبلها» (Ensembles) که دقیق هستند اما سنگین، و «ادغام وزنها» (Weight Aggregation) که سبک هستند اما گاهی ضعیفتر عمل میکنند، یک چالش بزرگ وجود داشته است.
محققان در مقاله جدیدی روشی به نام «ادغام جزئی» (Partial Fusion) ارائه دادهاند. این تکنیک به ما اجازه میدهد هوشمندانه فقط وزنهای مشابه در شبکههای عصبی را ادغام کنیم. نتیجه؟ یک تعادل منعطف که هم سرعت مدل را بالا میبرد و هم عملکرد آن را در سطح بالایی حفظ میکند. این روش عملاً نوعی «هرسسازی تعمیمیافته» (Generalized Pruning) است که میتواند تحولی در کاهش هزینههای محاسباتی ایجاد کند.
🔗 جزئیات بیشتر و کد پروژه:
https://github.com/Fabian-Mor/partial_fusion_nn
منبع: arXiv Machine Learning