اگر به دنبال اجرای مدلهای هوش مصنوعی روی موبایل یا سیستمهای کممصرف هستید، پلتفرم Cactus v2 یک تغییر بزرگ ایجاد کرده است!
برخی از ویژگیهای جذاب نسخه جدید:
✅ اجرای مدل روی دستگاه (On-device) با امکان اتصال هوشمند به کلاود (Cloud Fallback) در صورت نیاز.
✅ بهینهسازی عالی: اجرای مدل Gemma با سرعت ۱۶۹ توکن بر ثانیه روی تراشههای M5 Max.
✅ مصرف بهینه رم و فضای ذخیرهسازی بدون کاهش دقت مدل.
✅ پشتیبانی گسترده از iOS، اندروید، مک و حتی رزبری پای.
این یعنی میتوانید مدلهای سنگین را بدون داغ کردن گوشی یا مصرف زیاد رم اجرا کنید و برای بخشهای پیچیده، از قدرت کلاود کمک بگیرید! 📱✨
نویسی
منبع: Hacker News AI