در دنیای تحقیقات هوش مصنوعی، همیشه این سوال مطرح بوده که چرا شبکههای عصبی عمیق در یادگیری ساختارهای پیچیده، بسیار بهتر از «هسته مماس عصبی» (NTK) عمل میکنند.
پژوهش جدیدی که بهتازگی در arXiv منتشر شده، برای اولین بار این تفاوت را به صورت ریاضی کالبدشکافی کرده است. محققان نشان دادند که دلیل این برتری، تفاوت در «فضای عملکرد» است؛ جایی که NTK به دلیل ماهیتِ هموار بودن (Smoothness Bias)، در برابر الگوهای ساختاریافته و ترکیبی، «نمایی» ضعیفتر عمل میکند.
به زبان ساده، مدلهای معمولی با درک ساختارهای پیچیده (مثل مدلهای پارتی در ریاضیات)، میتوانند تا هزاران برابر دقیقتر از حدِ تئوریک NTK ظاهر شوند. این یعنی معماریهای عمیق ما، فوتوزنهایی دارند که یادگیری الگوهای پیچیده را بسیار بهینهتر از روشهای هستهمحور انجام میدهند. 🧠💡
منبع: arXiv Machine Learning