محققان در تازهترین مقاله خود، با معرفی «اصل رشد زیرخطی»، راهکار جدیدی برای حل مشکل ناپایداری در آموزش شبکههای عصبی باقیمانده (Residual Architectures) ارائه دادهاند.
این تحقیق نشان میدهد که چگونه با کنترل دقیق پارامترهای میدان سرعت در بلوکهای باقیمانده (ResBlocks)، میتوان از انفجار وزنها در حین آموزش جلوگیری کرد و ساختارهای عصبی بسیار پایدارتر و کارآمدتری طراحی کرد. این دستاورد به جای تکیه بر روشهای آزمون و خطا، استانداردی ریاضی برای مهندسی معماریهای هوش مصنوعی فراهم میکند که میتواند در آینده باعث بهبود سرعت و دقت آموزش مدلهای بزرگ شود.
منبع: arXiv Machine Learning