محققان در مقالهای جدید، متد نوآورانهای به نام «Split-FG» را معرفی کردهاند که میتواند انقلابی در بهینهسازی حافظه برای آموزش مدلهای عمیق ایجاد کند. 🧠
🔹 چالش چیست؟ روش سنتی Backpropagation حافظه زیادی مصرف میکند و جایگزینهای forward-mode هم با افزایش تعداد پارامترها، دچار نویز شدید در محاسبه گرادیان میشوند.
🔹 راهکار چیست؟ تکنیک جدید Split-FG شبکه را به بخشهای مختلف تقسیم میکند تا گرادیان «سر مدل» دقیق محاسبه شود و گرادیان «بدنه اصلی» با تقریب بهینهای به دست آید. این کار نه تنها ۳۵٪ در مصرف حافظه صرفهجویی میکند، بلکه پایداری آموزش را هم بالا میبرد.
این تحقیق گامی مهم برای آموزش بهینهتر مدلهای بزرگ روی سختافزارهای محدود است. ⚡️
سازی
منبع: arXiv Machine Learning