اگر با دنیای LLMها سروکار دارید، حتماً میدانید که انتخاب بهترین مدل برای هر پرسش چقدر میتواند چالشبرانگیز باشد. ابزار جدید Open-ultra یک «پراکسی مسیریاب» (Routing Proxy) با قابلیت آموزش خودکار است که به توسعهدهندگان کمک میکند ترافیک درخواستها را بهصورت هوشمندانه بین مدلهای مختلف توزیع کنند.
این ابزار به لطف قابلیت Self-training، بهمرور یاد میگیرد که کدام مدل برای چه نوع پرامپتی بهترین عملکرد را دارد و بهینهترین مسیر را انتخاب کند. این یک قدم بزرگ برای کاهش هزینهها و افزایش سرعت پاسخدهی در پروژههای بزرگ مبتنی بر هوش مصنوعی است. 🤖✨
برای بررسی جزئیات و استفاده از این پروژه متنباز به گیتهاب آن سر بزنید.
نویسی
منبع: Hacker News LLM