مدلهای انتشار ماسکشده (Masked Diffusion Models) به عنوان رقیبی جدی برای مدلهای زبانی خودتکثیر (ARMs) مطرح شدهاند، اما یک مشکل بزرگ داشتند: سرعت آموزش بسیار پایین! 🐢
محققان در مقاله جدیدی کشف کردهاند که دلیل اصلی این کندی، «سوگیری محلی» زبان است. آنها برای حل این مشکل، تکنیک جدیدی به نام «نمونهبرداری زمانی زنگولهای» (bell-shaped time sampling) را پیشنهاد دادهاند که میتواند سرعت آموزش مدلها را تا ۴ برابر افزایش دهد، بدون اینکه کیفیت نهایی کاهش یابد! 📈✨
این پیشرفت میتواند مسیر را برای مقیاسپذیری بهتر مدلهای diffusion در حوزه NLP هموارتر کند.
منبع: arXiv AI