01
自动切换可用供应商
通过供应商和模型自动回退,应对限流、服务故障与区域中断,保持产品在线。
路由示例
请求
OpenAI 82ms
Anthropic 61ms
Google 104ms
通过一个兼容 OpenAI 的接口接入。AIDMX 根据价格、速度、隐私和可用性选择合适的供应商。
切换模型,无需重写应用。使用稳定模型 ID、最新版本别名,或交给自动路由选择。
浏览全部模型 ↗在一个入口,管理服务可用性、性能与数据策略。
了解路由机制通过供应商和模型自动回退,应对限流、服务故障与区域中断,保持产品在线。
按价格、延迟、吞吐量、隐私或指定供应商顺序进行路由,利用每次响应持续更新端点健康信息。
要求零数据保留、排除用于训练的端点、让敏感请求留在本地,并查看每次路由决策。
几分钟接入第一个模型。保留现有 SDK,只需更改一个 URL。
在工作区管理模型访问权限。
使用兼容 OpenAI 的接口地址。
选择可用模型,或使用自动路由。
from openai import OpenAI
client = OpenAI(
base_url="https://stg-api.modelmix.tech/api/v1",
api_key="mmk-...",
)
response = client.chat.completions.create(
model="modelmix/auto",
messages=[{"role": "user", "content": "Hello"}],
extra_body={"provider": {"sort": "latency"}},
)