اگر شما هم از لپتاپهای سری M اپل استفاده میکنید، حتماً میدانید که این دستگاهها قدرت فوقالعادهای برای اجرای مدلهای زبانی بزرگ (LLM) بهصورت آفلاین دارند. اخیراً در یک بحث فنی، کاربری با سختافزار M2 Max (با ۹۶ گیگابایت رم) بهدنبال بهترین تنظیمات برای اجرای مدلهای محلی جهت پروژههای برنامهنویسی و اتوماسیون بوده است.
استفاده از مدلهای محلی مزایای بزرگی دارد:
✅ حفظ حریم خصوصی و امنیت دادهها
✅ عدم نیاز به اینترنت
✅ کاهش هزینههای API
اگر شما هم به دنبال اجرای مدلهایی مثل Llama 3 یا دیگر مدلهای متنباز روی سیستم شخصیتان هستید، ابزارهایی مثل Ollama یا LM Studio از بهترین گزینهها برای شروع هستند. شما از چه ابزاری برای اجرای محلی مدلها استفاده میکنید؟
منبع: Hacker News LLM