اگر در حال توسعه پروژههای مبتنی بر LLM هستید، ابزار جدید و متنباز Relay را از دست ندهید! این «گیتوی» (Gateway) خودمیزبان به شما کمک میکند تا درخواستهای مدلهای زبانی را هوشمندانهتر هدایت کنید.
ویژگی جذاب این ابزار، استفاده از مکانیزم «ارزیابی» (Eval-gated routing) است؛ یعنی Relay به صورت خودکار تشخیص میدهد کدام مدل برای پاسخ به درخواست شما مناسبتر است و آن را به همان مسیر هدایت میکند. این یعنی بهینهسازی در هزینهها و افزایش دقت پاسخها. 🛠️
این پروژه میتواند یک ابزار بسیار کاربردی برای توسعهدهندگانی باشد که با چندین مدل زبانی سروکار دارند.
🔗 لینک پروژه در گیتهاب: llmrelay/relay
منبع: Hacker News LLM