در دنیای یادگیری عمیق، همیشه تصور میشد که «تخت بودن» (Flatness) مینیممها دلیل اصلی عملکرد خوب مدلها در تعمیمدهی (Generalization) است. اما یک تحقیق جدید در arXiv این تئوری را به چالش کشیده است!
محققان در این پژوهش نشان دادهاند که میتوان با تغییر پارامترها، بدون تغییر در عملکرد و پیشبینیهای مدل، هندسه فضای پارامتری را بهشدت تغییر داد. به زبان ساده، این مطالعه میگوید که مفاهیمی مثل «تخت بودن» بیشتر به نحوه توصیف مدل مربوط میشوند تا عملکرد واقعی آن؛ و در عوض، «آزادی عمل» مدل در یادگیری است که تعیینکننده اصلی قدرت تعمیمدهی است.
این یافتهها میتواند درک ما از معماری شبکههای عصبی را عمیقتر کرده و مسیر جدیدی برای طراحی مدلهای هوشمندتر باز کند. 🚀
منبع: arXiv Machine Learning