محققان در مطالعهای جدید، چالش همیشگی «فراموشی» در شبکههای عصبی بازگشتی (RNN) را بررسی کردند. مشکل اصلی اینجاست که شبکهها در یادگیری وابستگیهای طولانیمدت به دلیل محو شدن سریع تأثیر ورودیهای قدیمی، دچار مشکل میشوند.
این مقاله نشان میدهد که معماری شبکه به تنهایی تعیینکننده نیست، بلکه تقابل پویاییِ حالتها و پارامترهاست که باعث میشود شبکه بین دو وضعیت «فروپاشی» (فراموشی سریع) یا «ضد فروپاشی» (حافظه طولانیمدت و یادگیری با مقیاس زمانی متفاوت) جابجا شود.
این کشف ریاضی میتواند راه را برای طراحی مدلهای هوش مصنوعی که حافظه قویتری برای پردازش دادههای توالیدار دارند، باز کند. 🚀
منبع: arXiv Machine Learning