محققان تکنیک نوآورانهای به نام «Nectar» را معرفی کردهاند که میتواند انقلابی در نحوه پردازش متنهای طولانی (مثل کتابها یا اسناد حقوقی) توسط مدلهای هوش مصنوعی ایجاد کند.
در مدلهای فعلی، برای هر پرسش جدید، سیستم مجبور است تمام اطلاعات قبلی (KV-Cache) را مجدداً بررسی کند که بسیار هزینهبر است. Nectar با جایگزین کردن این فرایند با یک شبکه عصبی فشرده، محاسبات را به شدت بهینه کرده و بدون کاهش دقت، سرعت پردازش در متنهای طولانی را به طور چشمگیری افزایش میدهد.
این یعنی مدلهای هوش مصنوعی در آینده میتوانند بسیار سریعتر و با مصرف حافظه کمتر، روی حجم عظیمی از دادهها کار کنند. ⚡️
منبع: arXiv Machine Learning