یکی از بزرگترین چالشهای فعلی در دنیای هوش مصنوعی، هزینه بسیار بالای انتقال دادهها (Communication) هنگام آموزش مدلهای بزرگ (LLM) روی سیستمهای توزیعشده است.
محققان به تازگی تکنیک جدیدی به نام SCAPE معرفی کردهاند که بدون افت کیفیت و دقت مدل، نرخ ارسال دادهها را تا ۹۹٪ کاهش میدهد! این روش با بهینهسازی نحوه اشتراکگذاری «گرادیانها» و استفاده هوشمندانه از آمار و ارقام (مبتنی بر بهینهساز Adam)، سرعت آموزش را به شدت افزایش داده و در عین حال پایداری مدل را تضمین میکند. این پیشرفت میتواند گامی بزرگ برای آموزش مدلهای غولآسا با هزینهای بسیار کمتر و در زمان کوتاهتر باشد.
منبع: arXiv Machine Learning
