اگر درگیر محدودیتهای سختافزاری و حافظه گرافیکی (VRAM) برای اجرای مدلهای هوش مصنوعی هستید، پروژه جدید “Continuous Wave Field LLM” یک راهکار جالب ارائه کرده است. این متد با استفاده از رویکرد Autograd-free، امکان هدایت و اجرای مدلهای زبانی را با مصرف VRAM نزدیک به صفر فراهم میکند.
این دستاورد برای توسعهدهندگانی که میخواهند مدلهای سنگین را روی سختافزارهای ضعیفتر اجرا کنند، میتواند بسیار کاربردی باشد. برای بررسی جزئیات فنی و سورسکد میتوانید به مخزن گیتهاب آن سر بزنید.
🔗 منبع: GitHub/PJHkorea
نویسی
منبع: Hacker News LLM