اگر سختافزار قدرتمندی ندارید ولی میخواهید مدلهای سنگین ۳۰ تا ۷۰ میلیارد پارامتری (مثل Llama 3) را روی سیستم شخصیتان اجرا کنید، خبر خوب اینکه سیستم جدیدی به نام «prima.cpp» معرفی شده که این کار را برایتان ممکن میکند!
این ابزار با استفاده از روش خلاقانهای به نام «Pipelined-ring parallelism»، میتواند قدرت پردازشی کامپیوترهای مختلف در خانه (حتی با رم یا گرافیک محدود) را ترکیب کند تا مدلهای سنگین، سریع و بدون کرش اجرا شوند. طبق تستها، این سیستم ۵ تا ۱۷ برابر سریعتر از ابزارهای مشابه مثل llama.cpp عمل میکند.
اگر به اجرای محلی و حریم خصوصی در هوش مصنوعی علاقه دارید، حتما نگاهی به کدهای این پروژه در گیتهاب بیندازید.
🔗 لینک پروژه: https://github.com/OpenCPIL/prima.cpp
منبع: arXiv AI