محققان تکنیک جدیدی برای استفاده از LLMها در پایگاههای داده مطرح کردهاند که مشکل هزینههای سنگین پردازشی را حل میکند. این روش با استفاده از «آبشارهای مدلی» (Model Cascades)، پرسوجوها را به شکلی هوشمند مدیریت میکند تا بهجای اجرای مداوم مدلهای سنگین و پرهزینه، بیشتر کارها توسط مدلهای سریعتر انجام شود و فقط موارد پیچیده به مدلهای دقیقتر سپرده شود.
این نوآوری که با نام «Streaming Model Cascades» معرفی شده، دقت و سرعت را در پردازش دادههای حجیم به شکل چشمگیری بهبود میبخشد و گام مهمی در عملیاتیسازی هوش مصنوعی در محیطهای تولیدی (Production) محسوب میشود.
منبع: arXiv AI