اگر در حال توسعه اپلیکیشنهایی هستید که از مدلهای زبانی (LLM) مختلف استفاده میکنند، حتماً با چالش مدیریت هزینهها و انتخاب مدل بهینه آشنا هستید.
ابزار جدید Foreman که به تازگی به صورت متنباز منتشر شده، یک درگاه (Gateway) خودمیزبان است که به شما کمک میکند درخواستهای خود را به صورت هوشمند بین مدلهای مختلف مسیریابی کنید. این ابزار نه تنها برای کنترل هزینهها عالی است، بلکه انعطافپذیری سیستم شما را در استفاده از سرویسهای مختلف به شدت بالا میبرد.
اگر به دنبال بهینهسازی پروژههای AI خود هستید، حتماً نگاهی به مخزن گیتهاب این پروژه بیندازید:
🔗 https://github.com/Northwood-Systems/foreman
نویسی
منبع: Hacker News LLM