محققان به تازگی تکنیک جدیدی به نام ManifoldFlow را معرفی کردهاند که محدودیتهای رایج در لایههای «استیفل» (Stiefel Layers) را هدف قرار داده است.
در لایههای استاندارد، وزنهای شبکه بهگونهای ثابت میمانند که ممکن است آزادی عمل مدل را در یادگیری الگوهای پیچیده محدود کند. ManifoldFlow با حفظ ویژگیهای ساختاری (Orthonormal basis)، به مدل اجازه میدهد طیف مقادیر تکین (Singular Spectrum) را بهصورت یادگیریپذیر تنظیم کند.
این نوآوری بهویژه در مدلهای زبانی (LLM) و تحلیلهای توالیمحور، باعث بهبود چشمگیر عملکرد نسبت به روشهای سنتی شده است. اگر در حوزه طراحی معماریهای عصبی فعال هستید، این مقاله مسیر جدیدی برای انعطافپذیری بیشتر لایهها باز میکند.
🔗 لینک پروژه در گیتهاب: https://github.com/Hik289/manifold_flow
منبع: arXiv Machine Learning