融入现有技术栈保留熟悉的工具。
只改一个 URL。
AIDMX 支持 SDK 和智能体熟悉的 OpenAI 兼容协议。选择集成方式,复制配置,即可开始路由。
使用 AIDMX 推理密钥和当前工作区可用的模型 ID。请将示例中的密钥和模型替换为自己的值。
使用示例前,先创建普通工作区推理密钥,在本机设置 AIDMX_API_KEY;用该密钥查询 /models?task_type=chat&available_only=true,把返回的完整 ID(含供应商前缀)设为 AIDMX_MODEL_ID。界面和 YAML 示例中的 MODEL_ID_FROM_CATALOG 需手工替换。
按对应工具的步骤和官方参考配置,选择模型支持的协议与功能。确认钱包额度或生效套餐点数后,先发送简短消息,再到请求记录核对;模型调用可能产生费用。
OSDK
OpenAI SDK
使用官方 Python 或 JavaScript SDK,无需修改应用接口。
- 先使用 pip 安装 openai。设置上方说明的两个环境变量后,此 Python 示例会发起一次付费聊天请求。
- JavaScript 的 openai 客户端填写相同的 baseURL 和 apiKey。SDK 可连接不代表供应商专有功能全部可用。
python
import os
from openai import OpenAI
client = OpenAI(
base_url="https://stg-api.modelmix.tech/api/v1",
api_key=os.environ["MODELMIX_API_KEY"],
)
response = client.chat.completions.create(
model=os.environ["MODELMIX_MODEL_ID"],
messages=[{"role": "user", "content": "Hello"}],
max_tokens=256,
)
print(response.choices[0].message.content) 官方配置参考 ↗A编程
Aider
将终端结对编程会话路由到 AIDMX 目录中的模型。
- 安装 Aider 并设置上述变量后,在 macOS/Linux 终端执行;Windows 请按所用终端的语法设置变量。
- 最前面的 openai/ 是 Aider 的供应商接入前缀,后面保留完整 AIDMX 模型 ID,包括其中的 vendor/ 前缀;请选适合编程任务的模型。
bash
export OPENAI_API_BASE="https://stg-api.modelmix.tech/api/v1"
export OPENAI_API_KEY="$MODELMIX_API_KEY"
aider --model "openai/$MODELMIX_MODEL_ID"
官方配置参考 ↗C编程
Cline
通过 OpenAI 兼容供应商选项连接 VS Code 编程智能体。
- 打开 Cline 设置,选择 OpenAI Compatible,替换密钥和模型占位符;接口地址保留 /api/v1。
- 上下文、输出上限及图片支持参照所选端点能力填写;先用临时任务验证,再启用自动文件操作。
text
Provider: OpenAI Compatible
Base URL: https://stg-api.modelmix.tech/api/v1
API key: mmk-...
Model ID: MODEL_ID_FROM_CATALOG
官方配置参考 ↗L聊天
LibreChat
在支持多用户的开源聊天工作区中使用已接入的模型目录。
- 合并到项目根目录 librechat.yaml 的 endpoints.custom 下,保留当前 LibreChat 版本要求的配置版本;将 MODEL_ID_FROM_CATALOG 替换为当前完整模型 ID。
- 在 LibreChat 的受保护配置中设置 AIDMX_API_KEY,完成后在应用中选择 AIDMX;可按需添加其他明确的聊天模型。
yaml
# librechat.yaml
version: 1.3.18
endpoints:
custom:
- name: "ModelMix"
apiKey: "${MODELMIX_API_KEY}"
baseURL: "https://stg-api.modelmix.tech/api/v1"
models:
default: ["MODEL_ID_FROM_CATALOG"]
fetch: false
titleConvo: false 官方配置参考 ↗W聊天
Open WebUI
将 AIDMX 用作自托管聊天界面的 OpenAI 兼容端点。
- 这是服务或容器的环境配置;替换密钥并确保变量传入 Open WebUI,再启动或重新创建服务。
- 已有安装请在管理员设置中修改保存的 OpenAI 连接;持久化连接设置可能覆盖新环境变量。选择当前可用的聊天模型后验证。
dotenv
OPENAI_API_BASE_URL="https://stg-api.modelmix.tech/api/v1"
OPENAI_API_KEY=mmk-...
官方配置参考 ↗⛓框架
LangChain
构建链式工作流和智能体,由 AIDMX 管理供应商选择与自动回退。
- 使用 pip 安装 langchain-openai 并设置上述变量;此示例发起一次付费 Chat Completions 请求。
- 此处覆盖标准聊天字段。供应商特有的思考或签名字段及内置工具需另行核对兼容性;收到文本回复不代表完整 Agent 流程已经验证。
python
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model=os.environ["MODELMIX_MODEL_ID"],
base_url="https://stg-api.modelmix.tech/api/v1",
api_key=os.environ["MODELMIX_API_KEY"],
max_tokens=256,
)
print(llm.invoke("Hello").content) 官方配置参考 ↗△框架
LlamaIndex
通过 OpenAI 兼容的大模型适配器接入检索和智能体工作流。
- 使用 pip 安装 llama-index-llms-openai-like 并设置上述变量。is_chat_model=True 明确选择聊天接口;此示例发起一次付费请求。
- 使用工具型 Agent 前,先核对所选端点支持 tools,再设 is_function_calling_model=True。发送长文档前按端点设置 context_window,框架默认值不代表模型实际容量。
python
import os
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model=os.environ["MODELMIX_MODEL_ID"],
api_base="https://stg-api.modelmix.tech/api/v1",
api_key=os.environ["MODELMIX_API_KEY"],
is_chat_model=True,
is_function_calling_model=False,
max_tokens=256,
)
print(llm.complete("Hello").text) 官方配置参考 ↗没有找到你的工具?
只要支持自定义基础 URL,
通常就能直接接入。
先尝试 OpenAI 兼容配置。若客户端需要专用适配器,可记录请求格式并添加适配,无需修改路由核心。