محققان در پژوهشی جدید به بررسی عمیق ساختارهای حافظه در مدلهای «mLSTM» پرداختهاند. این مقاله نشان میدهد که چگونه «Orthogonalized Read» یا همان خواندن متعامد، به عنوان یک داربست (Scaffold) آموزشی عمل کرده و به مدل کمک میکند تا از مراحل سخت و زمانبر یادگیری (Plateau) عبور کند.
نکته جالب اینجاست که این تکنیک، لزوماً ظرفیت حافظه مدل را افزایش نمیدهد، بلکه با بهبود فرآیند یادگیری، نرخ همگرایی را بهطور قابل توجهی بالا میبرد. این یافتهها درک ما از نحوه بهینهسازی مدلهای مبتنی بر حافظه را یک گام جلوتر میبرد.
منبع: arXiv Machine Learning