اگر صاحب مکاستودیو با تراشه M4 Max و رم ۱۲۸ گیگابایتی هستید، احتمالا به دنبال بهینهترین راه برای اجرای مدلهای هوش مصنوعی (LLM) به صورت لوکال روی سختافزار فوقالعاده خود میگردید.
در دنیای توسعهدهندگان، بحثهای جذابی در مورد نحوه کانفیگ نرمافزاری برای بهرهبرداری حداکثری از این توان سختافزاری بالا گرفته است. اگر میخواهید مدلهای زبانی را بدون وابستگی به سرورهای ابری و با سرعت خیرهکننده روی سیستم خودتان داشته باشید، بررسی این تجربیات میتواند بهترین مسیر را به شما نشان دهد.
شما از چه ابزاری برای اجرای مدلهای محلی استفاده میکنید؟
نویسی
منبع: Hacker News LLM
