محققان در تازهترین مقاله خود، الگوریتم بهینهساز جدیدی به نام AdamNX را معرفی کردهاند که نسخه ارتقایافتهای از Adam محبوب است. این متد با استفاده از یک مکانیزم نرخ زوال نمایی (exponential decay) نوآورانه، در مراحل پایانی آموزش (Plateau)، رفتار مدل را به سمت بهینهسازهای قدرتمند Momentum-SGD هدایت میکند.
این تغییر باعث میشود که فرآیند آموزش مدلها در تسکهای طبقهبندی تصویر و تشخیص اشیا، هوشمندانهتر انجام شود. اگر در حوزه Deep Learning فعال هستید، میتوانید کدهای این پژوهش را در گیتهاب بررسی کنید. 💻✨
🔗 کد پروژه: https://github.com/mengzhu0308/AdamNX
نویسی سازی
منبع: arXiv Machine Learning