اگر از علاقهمندان به اجرای مدلهای زبانی بزرگ (LLM) روی سختافزارهای شخصی هستید، حتما با چالش محدودیت حافظه برخورد کردهاید. پروژه جدید SALT با استفاده از ساختار دادهای Trie، راهکاری برای اجرای کارآمدتر و بهینهتر این مدلها ارائه داده است.
این پروژه متنباز به دنبال مشارکت توسعهدهندگان است تا بتوانند این «اجراکننده» (Runner) هوشمند را برای کاهش مصرف حافظه بهبود ببخشند. اگر به دنیای بهینهسازی مدلها و دنیای زیرساخت هوش مصنوعی علاقه دارید، بررسی این پروژه میتواند تجربه جالبی باشد.
سازی نویسی
منبع: Hacker News LLM