اگر از مدلهای زبانی بزرگ (LLM) در مقیاس بالا استفاده میکنید، حتماً با چالش هزینههای پردازشی دستوپنجه نرم کردهاید. مقاله جدیدی با عنوان «Online Learning for Cost-Efficient LLM Routing» راهکاری خلاقانه برای مسیریابی هوشمند بین مدلهای مختلف ارائه داده است.
در این روش، با استفاده از تکنیک «تامپسون سمپلینگ» (Thompson Sampling)، سیستم یاد میگیرد که در هر لحظه کدام مدل هوش مصنوعی را برای پردازش درخواست انتخاب کند تا هم دقت حفظ شود و هم هزینههای عملیاتی به حداقل برسد. این رویکرد برای توسعهدهندگانی که به دنبال بهرهوری بیشتر در اپلیکیشنهای مبتنی بر هوش مصنوعی هستند، بسیار کاربردی است.
سازی
منبع: Hacker News LLM