اگر از کاربران پروپاقرص مدلهای هوش مصنوعی هستید و میخواهید هزینههای API خود را بهینه کنید، پروژه جدید Millwright برای شماست!
این ابزار متنباز (Open Source) که با زبان Rust نوشته شده، یک روترِ خودمیزبان است که بین ایجنتهای کدنویس و مدلهای هوش مصنوعی قرار میگیرد تا مدیریت هوشمندانهتری روی درخواستها داشته باشید.
ویژگیهای کلیدی Millwright:
✅ پشتیبانی از مدلهای OpenAI، Anthropic و Bedrock
✅ قابلیت Failover (سوئیچ خودکار در صورت بروز خطا)
✅ رهگیری دقیق هزینهها برای تیمها
✅ امکان تعریف سیاستهای مسیریابی برای انتخاب ارزانترین مدلهای موجود
با این ابزار میتوانید بدون دغدغه و با شفافیت کامل، زیرساخت هوش مصنوعی خود را بهینه کنید.
نویسی
منبع: Hacker News LLM