اجرای مدلهای زبانی بزرگ (LLM) روی گوشیها نه تنها حریم خصوصی را حفظ میکند، بلکه سرعت پاسخدهی را هم بالا میبرد. اما چالش اصلی اینجاست: چرا عملکرد سختافزارهای مختلف مثل NPUها اینقدر متفاوت است؟
محققان در پژوهش جدیدی با ابزار «PowerBench» به نتایج جالبی رسیدند:
1️⃣ شکاف عملکرد در NPUها بسیار بیشتر از آن چیزی است که فکر میکردیم (گاه تا ۱۰ برابر!).
2️⃣ پردازندههای NPU در مرحله Pre-filling (پیشپرکردن) عالی هستند، اما در مرحله Decoding (تولید متن)، همچنان CPUها پیروز میداناند.
3️⃣ تنظیمات بهینه سختافزاری میتواند تا ۴۰٪ از اتلاف انرژی جلوگیری کند.
این تحقیق نقشه راهی برای توسعهدهندگان ارائه داده تا با تنظیم دقیق ناهماهنگیهای سختافزاری، هوش مصنوعی را روی موبایلها بهینهتر و کممصرفتر اجرا کنند. آینده هوش مصنوعی در جیبهای ما در حال بهینهشدن است! 🚀
منبع: arXiv AI