🔍 راز معمای «مقادیر ویژه صفر» در شبکه‌های عصبی فاش شد! 🧠

محققان در پژوهشی جدید (arXiv:2607.07845)، به یکی از چالش‌های قدیمی در تحلیل شبکه عصبی پاسخ داده‌اند: چرا تعداد زیادی از مقادیر ویژه هسین (Hessian) در نزدیکی صفر قرار دارند؟

طبق این مطالعه، علت این پدیده وجود «تقارن‌های تقریبی» در مدل‌هاست. در واقع، این مقادیر بسیار کوچک در اثر شکستن تقارن‌های موجود در لایه‌های شبکه (مثل خطی بودن در شبکه‌های عمیق و ورود توابع فعال‌ساز ReLU) ایجاد می‌شوند. این دستاورد، درک عمیق‌تری از هندسه فضای ضرایب و نحوه آموزش مدل‌های هوش مصنوعی به ما می‌دهد که می‌تواند در آینده به بهینه‌سازی دقیق‌تر و سریع‌تر مدل‌ها کمک کند.

منبع: arXiv Machine Learning