محققان در مقاله جدیدی به بررسی علمی عملکرد بهینهسازهای سبک Hyperball در آموزش شبکههای عصبی عمیق پرداختهاند. برخلاف تصور عمومی، نتایج این پژوهش نشان میدهد که برتری این بهینهسازها در آموزش مدلهای بزرگ، لزوماً به دلیل «جهتِ بهروزرسانی» بهتر نیست، بلکه عمدتاً ناشی از نحوه تکامل اندازه گام (Step Size) در طول فرآیند آموزش است.
این تحقیق نشان میدهد که تنظیم دقیقترِ نرخ یادگیری (Learning Rate) میتواند اثربخشی این مدلها را به شکل چشمگیری افزایش دهد. دانشی فنی و عمیق برای متخصصان حوزه یادگیری ماشین که به دنبال درک بهتر دینامیک آموزش مدلها هستند.
منبع: arXiv AI