اگر در دنیای LLMها فعالیت میکنید، حتماً با چالشهای حافظه و سختافزار برای اجرای مدلها آشنا هستید. به تازگی پروژهای متنباز به نام «Kortex» معرفی شده که یک موتور استنتاج (Inference Engine) فوقالعاده سریع و بهینه است که کاملاً از صفر با زبان Rust نوشته شده.
ویژگی کلیدی این ابزار، قابلیت Out-of-core است؛ یعنی اجازه میدهد مدلهایی را اجرا کنید که بزرگتر از حافظه گرافیکی (VRAM) سیستم شما هستند. این یک خبر عالی برای توسعهدهندگانی است که میخواهند مدلهای سنگین را روی سختافزارهای معمولی با بازدهی بالا تست کنند.
خوشحالیم که میبینیم اکوسیستم Rust روز به روز نقش پررنگتری در سرعت بخشیدن به هوش مصنوعی ایفا میکند.
，
منبع: Hacker News LLM
