آیا مدلهای هوش مصنوعی میتوانند یاد بگیرند که نویز دادهها را نادیده بگیرند؟ محققان در پژوهش جدیدی به سراغ یک مداخله هندسی در الگوریتمهای بهینهساز (Optimizer) رفتهاند.
این روش که با نام «OrthoGrad» معرفی شده، با حذف مولفههای همراستای گرادیان وزن، سعی میکند از یادگیری بیش از حد (Overfitting) روی برچسبهای غلط یا نویزدار جلوگیری کند. این تحقیق ابزار جالبی برای درک بهتر پویاییهای آموزش در شبکههای عصبی است و نشان میدهد که چطور محدودیتهای هندسی میتوانند در شرایط خاص، دقت مدل را بهبود بخشند.
اگر در حوزه یادگیری عمیق (Deep Learning) تحقیق میکنید، این رویکرد میتواند دید جدیدی درباره تعامل بین وزنها و گرادیانها به شما بدهد.
منبع: arXiv Machine Learning