اگر از مدلهای زبانی محلی روی سیستم خود استفاده میکنید، حتماً تجربه کند شدن یا سوییچ ناگهانی مدل از GPU به CPU را داشتهاید که باعث افت عملکرد میشود.
ابزار جدید و متنباز «Picchio» به شما کمک میکند تا لحظهای که مدل هوش مصنوعیتان به جای استفاده از کارت گرافیک، به سراغ پردازنده اصلی (CPU) میرود را شناسایی و مانیتور کنید. این ابزار برای توسعهدهندگانی که میخواهند پرفورمنس مدلهای خود را بهینه نگه دارند، بسیار کاربردی است. 🚀
نویسی
منبع: Hacker News LLM