تا به حال فکر کردهاید که چه زمانی باید از یک مدل ساده (Heuristic) استفاده کرد و چه زمانی سراغ مدلهای سنگین و هزینهبر (LLM) رفت؟
محققان در مقاله جدیدی به سراغ «Value Router» رفتهاند؛ سیستمی که فقط به «سختی» کار نگاه نمیکند، بلکه «ارزش تجاری» درخواست را هم در نظر میگیرد. این یعنی بهجای خرج کردن بیدلیل برای هر پرسش، منابع محاسباتی را دقیقاً جایی صرف میکند که بیشترین سود را برای کسبوکارهای آنلاین و فروشگاههای بزرگ دارد.
این تحقیق نشان میدهد که با این رویکرد، علاوه بر حفظ دقت، میتوان هزینههای سنگینِ اجرای LLMها را بهویژه در زمانهای اوج ترافیک (مثل جمعه سیاه) به شدت بهینهسازی کرد.
منبع: arXiv AI