محققان در مقاله جدید خود به سراغ یکی از چالشهای اصلی آموزش مدلهای هوش مصنوعی، یعنی «نرخ یادگیری» (Learning Rate) رفتهاند. اکثر الگوریتمهای بهینهسازی مثل Adam از نرخ یادگیری ثابت استفاده میکنند که گاهی باعث عدم همگرایی دقیق میشود.
این مطالعه با ارائه یک روش «سازگار» (Adaptive) جدید، به مدل اجازه میدهد نرخ یادگیری را بهصورت خودکار بر اساس تابع هدف تنظیم کند. نتایج نشان میدهد که این روش نه تنها در مسائل ریاضی پیچیده سریعتر عمل میکند، بلکه در حوزههایی مثل Physics-Informed Neural Networks (PINNs) و روشهای عمیق حل معادلات دیفرانسیل (PDEs) دقت بسیار بالاتری ارائه میدهد.
اگر در حوزه آموزش مدلهای علمی و فیزیکمحور فعالیت میکنید، بررسی این متد و کدهای پیادهسازی شده در گیتهاب آنها میتواند گرهگشای پروژههای شما باشد.
منبع: arXiv Machine Learning