محققان با ارائه یک فریمورک نوآورانه برای «استنتاج مشارکتی لبه-ابر» (Edge-Cloud Collaborative)، انقلابی در اجرای مدلهای زبانی بزرگ ایجاد کردهاند. این روش با استفاده از یک حافظه پنهان امن (Authenticated KV cache)، بخشهایی از پردازش سنگین را در ابر و محاسبات حساس را به صورت محلی روی دستگاه شما انجام میدهد.
✅ چرا این خبر مهم است؟
۱. افزایش ۴۶ درصدی سرعت پاسخدهی (Latency).
۲. کاهش ۶۷ درصدی پهنای باند مصرفی.
۳. حفظ حریم خصوصی کاربر با رمزنگاری پیشرفته (AES-GCM).
این یعنی به زودی میتوانید مدلهای قدرتمند هوش مصنوعی را بدون نگرانی از امنیت دادهها یا کمبود سختافزار، روی موبایل یا سیستمهای معمولی با سرعتی عالی اجرا کنید. 🚀
منبع: arXiv AI