محققان در مطالعهای جدید، فریمورک «LLMET» را برای بررسی عملکرد حافظههای نسل جدید در مدلهای زبانی معرفی کردهاند. یافتهها نشان میدهد که با استفاده از تکنولوژی M3D (حافظههای ۳ بعدی یکپارچه) در تراشهها، میتوان ظرفیت کش (Cache) را افزایش داد و مصرف انرژی در زمان اجرای مدلهای سنگینی مثل Llama 3.1 را تا ۴۴٪ کاهش داد.
این یعنی قدمی بزرگ برای کاهش هزینههای نجومی برق و بهینهسازی سختافزار برای پردازشهای سنگین AI که میتواند در آینده به ارزانتر شدن سرویسهای هوش مصنوعی منجر شود. 💡⚙️
منبع: arXiv AI