محققان در یک پژوهش فنی و جذاب، راهکار جدیدی برای «حسابرسی» و مدیریت دقیقتَرِ بهروزرسانی وزنها در مدلهای هوش مصنوعی ارائه دادهاند. این متد با استفاده از «ردپاهای مرجع» (Reference Traces)، به مدل کمک میکند تا هنگام آموزش در دقتهای پایین (low-precision)، پیشنهادات بهینه بهینهساز (optimizer) را از دست ندهد و عملکرد نهایی را تا حد زیادی بهبود بخشد.
این روش که در تستهای مدل GPT-2 با موفقیت پیادهسازی شده، نشان میدهد که چطور با تغییرات هوشمندانه در فرآیند ذخیرهسازی نتایج، میتوان بخش بزرگی از دقت از دست رفته در مدلها را بازیابی کرد. گامی مهم برای افزایش بهرهوری و کاهش هزینههای محاسباتی آموزش مدلهای بزرگ! 🧠⚙️
منبع: arXiv Machine Learning