محققان در یک پژوهش جدید، راهکار خلاقانهای برای کاهش حجم شبکههای عصبی عمیق ارائه کردهاند. این روش به جای تغییر وزنها یا کوانتیزاسیونهای متداول، به سراغ تحلیل «نقش دینامیکی» لایههای پنهان رفته است.
در این متد، شبکه عصبی مانند یک سیستم دینامیکی غیرخطی در نظر گرفته میشود تا میزان «افزونگی» (Redundancy) در وضعیتهای پنهان شناسایی شود. نتیجه خیرهکننده بوده است؛ برای مثال در آزمایشهای MNIST، موفق شدند حجم مدل را تا حدود ۷۳ درصد کاهش دهند بدون اینکه دقت آن دچار افت شدیدی شود. این یعنی مدلهای سبکتر و سریعتر برای آینده هوش مصنوعی!
این دستاورد میتواند گامی بزرگ برای اجرای مدلهای قدرتمند روی سختافزارهای ضعیفتر باشد.
منبع: arXiv AI