مدلهای ترنسفورمر (مثل همین ChatGPT خودمان!) برای اجرا به جابهجایی عظیم دادهها بین حافظه و پردازنده نیاز دارند که باعث کندی و اتلاف انرژی میشود. حالا محققان با معرفی معماری «RED-PIM» که از تکنولوژی پردازش در حافظه (Processing-in-Memory) استفاده میکند، این مشکل را هدف قرار دادهاند.
این نوآوری با تغییر در نحوه مدیریت دادهها در حافظه، توانسته جابهجاییهای اضافه را به شدت کاهش داده و سرعت استنتاج مدلهای ترنسفورمر را تا بیش از ۶۶ درصد (و در مواردی تا ۹۹ درصد!) افزایش دهد. این یعنی آیندهای با مدلهای سریعتر و کارآمدتر برای سختافزارهای آینده! 💡🌐
منبع: arXiv Machine Learning