اگر در حال توسعه پروژههای هوش مصنوعی هستید، حتماً میدانید که مدیریت چندین مدل و کنترل دسترسیها چقدر میتواند چالشبرانگیز باشد. ابزار جدید «LLM Gateway» به صورت متنباز و قابل میزبانی شخصی (Self-hosted) منتشر شده است.
این ابزار نه تنها یک رابط کاربری جذاب برای چت ارائه میدهد، بلکه با قابلیتهای مدیریت دسترسی بر اساس نقش (RBAC)، انتخاب بسیار مناسبی برای تیمهایی است که به دنبال امنیت و بهینهسازی در تعامل با LLMها هستند.
این پروژه میتواند هزینهها و پیچیدگیهای اتصال به مدلهای مختلف را به شدت کاهش دهد. اگر توسعهدهنده هستید، حتماً نگاهی به آن بیندازید.
🔗 لینک پروژه: https://github.com/croit/llm-gateway
منبع: Hacker News LLM
