محققان در مقالهای جدید، روش نوآورانه «SNLP» (مخفف Structured Newton Layer Parallelism) را برای افزایش سرعت استنتاج در مدلهای زبانی ترنسفورمر معرفی کردهاند.
مشکل اصلی مدلهای فعلی، وابستگی متوالی لایهها به یکدیگر است که باعث ایجاد تاخیر (Latency) میشود. روش SNLP با استفاده از «اصلاحات نیوتونی ساختاریافته»، این وابستگی را کاهش داده و اجازه میدهد پردازش لایهها به صورت موازی انجام شود.
نتایج آزمایشها روی مدلهای ۰.۵ میلیاردی نشان میدهد که این روش میتواند تا ۲.۵ برابر سرعت استنتاج را بدون افت کیفیت (Perplexity) افزایش دهد. این یک گام بزرگ برای کاربردیتر کردن مدلهای هوش مصنوعی در زمان واقعی (Real-time) است! ⚡️
منبع: arXiv Machine Learning