تا حالا به این فکر کردید که پردازش هر توکن توسط مدلهای بزرگ زبانی (LLM) چقدر برق مصرف میکند؟ 🔋
محققان بهتازگی روشی تحلیلی و دقیق ارائه دادهاند که بدون نیاز به تجهیزات سختافزاری پیچیده، میزان مصرف انرژی GPUهای سری H100 انویدیا را هنگام اجرای مدلهای سنگین تخمین میزند. این متد، جزئیات دقیق مصرف انرژی در بخشهای مختلف پردازش (از محاسبه FLOPها گرفته تا جابهجایی دادهها در حافظه) را مشخص میکند.
این تحقیق گامی مهم در جهت پایداری محیطزیستی و بهینهسازی هزینههای عملیاتی در سیستمهای هوش مصنوعی است. 🌍💻
منبع: arXiv Machine Learning