آیا دوست دارید دستیارهای هوشمند بدون نیاز به سرورهای ابری و با سرعت بالا در گوشی شما کار کنند؟ محققان در پژوهشی جدید، فریمورک «Octo-planner» را معرفی کردهاند که دنیای هوش مصنوعی روی دستگاه (On-device) را متحول میکند.
این سیستم جذاب، هوش مصنوعی را به دو بخش تقسیم میکند: یک مغز متفکر (مبتنی بر Phi-3 Mini) برای برنامهریزی و یک واحد اجرایی (Octopus) برای انجام دستورات. ترکیب این دو با تکنیک جدید multi-LoRA، باعث شده تا این مدل بتواند وظایف پیچیده را در دستگاههای دارای محدودیت سختافزاری، با دقت ۹۷ درصد و بسیار سریع انجام دهد. این یعنی حریم خصوصی بیشتر و مصرف انرژی کمتر! 🔋⚡
منبع: arXiv NLP