محققان در یک دستاورد علمی جدید، ساختار «Mobius Learning» را معرفی کردهاند که فرضیات قدیمی درباره ترتیب لایهها در مدلهای زبانی را به چالش میکشد. در این روش، به جای ترتیب ثابت، دادهها به صورت چرخشی (Cyclic) در لایهها حرکت میکنند تا هر بلاک بتواند نقشهای متفاوتی (هم در لایههای سطحی و هم عمیق) ایفا کند.
✨ ویژگی کلیدی این مدل، قابلیت فوقالعاده آن در آموزش توزیعیافته با حافظه محدود است؛ جایی که هر پردازنده فقط بخشی از مدل را ذخیره میکند و نیاز به جابجایی کل مدل نیست.
این نوآوری میتواند راه را برای آموزش مدلهای غولآسا روی سختافزارهای ضعیفتر هموار کند! نظر شما درباره این تغییر در ساختار ترنسفورمرها چیست؟
منبع: arXiv Machine Learning