محققان در یک پیشرفت جدید، متدولوژی تازهای به نام «RELTA-SGLD» معرفی کردند که مشکل «تطبیقدهی» (Taming) در مدلهای یادگیری تصادفی غیرمحدب را حل میکند.
این روش با استفاده از یک اصل رشد نسبی، باعث پایداری بیشتر در آموزش مدلها میشود و اجازه میدهد تا در حین آموزش، کنترل دقیقتری روی «درایفت» (Drift) یادگیری داشته باشیم. نتایج آزمایشها روی مجموعهداده Fashion-MNIST نشان میدهد که این روش نه تنها عملکرد بهتری نسبت به روشهای مشابه دارد، بلکه در بسیاری از موارد با مدلهای قدرتمندی مثل AdamW رقابت میکند. این یعنی آموزش مدلهای پیچیده با پایداری بیشتر و خطای کمتر! 📉🔥
سازی
منبع: arXiv Machine Learning