اگر فکر میکنید اجرای مدلهای زبانی (LLM) نیاز به سرورهای غولآسا دارد، این خبر برای شماست! یک توسعهدهنده به تازگی یک رانتایم WebGPU با معماری ۱-بیتی طراحی کرده که امکان اجرای یک مدل زبانی ۱.۷ میلیارد پارامتری را مستقیماً داخل مرورگر فراهم میکند.
این یعنی سرعت بالاتر، حریم خصوصی بیشتر و دسترسی آسانتر به هوش مصنوعی بدون نیاز به سختافزارهای پیچیده. دنیای مدلهای محلی و سبک در حال پیشرفت است!
🔗 برای بررسی پروژه و دیدن کدهای آن میتوانید به لینکهای مرتبط در گیتهاب سر بزنید.
منبع: Hacker News LLM