حتماً برایتان پیش آمده که مدلهای هوش مصنوعی هنگام پردازش طولانیمدت یا جریانهای صوتی زنده، ناگهان دچار افت شدید عملکرد شوند. محققان متوجه شدهاند که مشکل اصلی، پر شدن بیرویه حافظه KV Cache است که باعث میشود مدل بدون هیچ هشدار قبلی، اصطلاحاً «سقوط» کند.
ابزار جدیدی به نام Metronome این مشکل را با مدیریت هوشمند حافظه حل کرده است. این تکنولوژی با محدود کردن وضعیت حافظه هر نشست (Session)، پایداری مدل را تضمین میکند تا در حین مکالمات طولانی یا تعاملات واقعی، دیگر شاهد لگهای ناگهانی نباشیم. به زبان ساده، Metronome باعث میشود مدلهای هوش مصنوعی در محیطهای واقعی، «نفس کم نیاورند» و عملکردشان دقیقاً طبق پیشبینی باقی بماند.
منبع: arXiv AI