🧠 راز درونی شبکه‌های عصبی؛ چرا مدل‌ها به «فشرده‌سازی» روی می‌آورند؟

محققان در یک مطالعه جدید و فنی، معمای جالبی را در نحوه یادگیری شبکه‌های عصبی ReLU بررسی کرده‌اند. این پژوهش نشان می‌دهد که چطور الگوریتم بهینه‌ساز SGD باعث می‌شود شبکه‌های بسیار بزرگ، در عمل به یک ساختار «فشرده» و ساده‌تر برسند.

در واقع، با وجود تعداد زیادی پارامتر، شبکه یاد می‌گیرد که اطلاعات را در تعداد محدودی جهت و منطقه تعریف کند که به آن «فروپاشی عرض موثر» (Effective Width Collapse) می‌گویند. این دستاورد به ما کمک می‌کند تا بهتر بفهمیم چرا و چگونه مدل‌های هوش مصنوعی با وجود پیچیدگی ظاهری، به راه‌حل‌های بهینه و ساختاریافته دست پیدا می‌کنند.

این یافته‌ها گام مهمی در درکِ ریاضی و نظریِ رفتار واقعی شبکه‌های عصبی عمیق در دنیای واقعی است. 📊

منبع: arXiv Machine Learning