محققان در مطالعه جدید خود به سراغ یکی از چالشهای بنیادین در یادگیری ماشین رفتهاند: «تقارن در پارامترها». این مسئله به این موضوع میپردازد که چگونه مدلهای عصبی مختلف میتوانند با وجود پارامترهای متفاوت، خروجیهای یکسانی تولید کنند (پدیدهای که به آن شناساییناپذیری پارامترها میگویند).
نکته کلیدی این مقاله، ارائه یک طبقهبندی کامل برای تقارن در «شبکههای عصبی کمعمق با تابع فعالساز ReLU» است. تا پیش از این، اکثر روشها به توابع هموار نیاز داشتند، اما این پژوهش با استفاده از ویژگی «غیرقابلمشتق بودن» ReLU، گامی بزرگ در درک فضای هندسی مدلهای عصبی برداشته است که میتواند به بهینهسازی بهتر و درک دقیقتر آموزش شبکههای عصبی کمک کند.
منبع: arXiv Machine Learning