跳到主要内容

自定义 LLM

自定义 LLM:接入您自己的 AI 模型和 API 密钥。

接入 OpenAI、Anthropic、Google、Azure、AWS、OpenRouter、xAI、DeepSeek、Groq、Cohere、Ollama,或您自己的模型 API。按成本、延迟或能力路由请求,并内置备用方案、监控和治理。

或以 $150 额度开始,足够支付 Growth 套餐的第一个月

  • OpenAI
  • Anthropic
  • Google Gemini
  • Azure OpenAI
  • AWS Bedrock
  • OpenRouter
  • xAI
  • DeepSeek
  • Groq
  • Cohere
  • Ollama

灵活的模型集成

选择适合您技术栈的方式:服务商、路由和治理。

  • 连接外部 API

    通过凭证将您现有的模型服务商接入 MonoChat,并验证连接。

    • API 密钥管理
    • 安全的凭证存储
    • 连接验证
    • 用量监控
  • 模型注册表

    在每个工作区管理多个模型,并将其分配给渠道、客服和作用范围。

    • 服务商 + 模型目录
    • 按工作区隔离
    • 环境隔离
    • 版本化配置
  • 路由与备用方案

    按成本、延迟、能力或语言路由,并提供安全的备用方案和 A/B 测试。

    • 智能路由规则
    • 备用链路
    • A/B 测试
    • 性能对比

支持的 API 服务商

连接您偏好的服务商,不被单一供应商绑定。

  • OpenAI

    面向助手、搜索和内容生成的通用语言、视觉和音频模型系列。

    • 聊天与助手模型
    • 多模态推理模型
    • 向量嵌入与工具
  • Anthropic

    面向企业级会话、注重安全的助手和推理模型系列。

    • 助手类模型
    • 长上下文推理模型
    • 企业安全工具
  • Google

    面向搜索、会话和多模态体验的 Google AI 模型系列。

    • 搜索与会话模型
    • 多模态模型
    • 企业级机器学习服务
  • Azure OpenAI

    具备 Azure 合规、可观测性和治理能力的企业级 OpenAI 服务。

    • 托管基础模型
    • 企业安全与合规
    • 监控与可观测性
  • AWS Bedrock

    AWS 上的全托管基础模型,运行在您自己的云账户和区域内。

    • 多个模型系列
    • 在您的 AWS 账户中运行
    • IAM 与 VPC 集成
  • OpenRouter

    一个 API 密钥即可使用来自众多服务商的数百个模型,统一计费并自动切换备用服务商。

    • 一个 API 调用数百个模型
    • 开源与专有模型
    • 服务商备用与价格路由
  • xAI

    Grok 模型系列,适用于快速、具备实时感知能力的对话和推理。

    • Grok 聊天模型
    • 推理模型
    • 视觉支持
  • DeepSeek

    高性价比的聊天和推理模型,编程和数学能力出色。

    • 聊天模型
    • 推理模型
    • 单 token 成本低
  • Groq

    为热门开源模型提供超低延迟推理,非常适合实时聊天。

    • 推理速度极快
    • 开源模型
    • 实时会话
  • Cohere

    为检索、搜索和多语言商务场景打造的企业级语言模型。

    • Command 聊天模型
    • 向量嵌入与重排序
    • 多语言支持
  • Ollama

    在您自己的服务器上运行开源模型,让每一次会话都保留在您的基础设施中。

    • 自托管模型
    • 数据保留在本地
    • 无按 token 计费
  • 自定义 API

    您自己的内部或垂直领域模型 API,由您的团队完全掌控。

    • 内部模型网关
    • 垂直领域模型
    • 私有推理端点

简单的集成流程

通过清晰、可重复的设置,让您的自定义模型快速上线。

  1. 添加 API 凭证

    安全添加服务商密钥,并按角色限制访问。

  2. 配置路由

    按渠道、客服或流程设置模型偏好、备用方案和规则。

  3. 测试与部署

    运行测试、监控性能,并安全地发布到生产环境。

企业级安全

为每个模型和工作区保护凭证并落实治理。

  • 凭证加密

    所有服务商凭证在存储和传输过程中均已加密。

  • 访问控制

    基于角色的访问控制(RBAC),权限精细可控。

  • 审计日志

    完整记录模型配置变更和使用情况的审计轨迹。

  • 工作区隔离

    数据和模型配置按工作区相互隔离。

行业专用模型

团队接入 MonoChat 的垂直领域模型组合示例。

  • 电商

    • 商品推荐引擎
    • 客户情感分析
    • 价格优化模型
    • 库存预测
  • 医疗健康

    • 医疗问诊助手
    • 患者分诊系统
    • 药物相互作用检查工具
    • 症状分析
  • 金融

    • 欺诈检测系统
    • 信用评分模型
    • 风险评估工具
    • 合规摘要
  • 教育

    • 个性化学习路径
    • 学生成绩预测
    • 内容推荐
    • 自动评分

常见问题

关于自定义 LLM 的常见问题

最常见问题的快速解答。

MonoChat 中的“自带 LLM”是什么意思?

您连接自己已在使用的模型服务商的 API 凭证。MonoChat 通过您的账户调用模型,因此您可以沿用自己的价格和数据协议,且不会产生 AI 加价。

可以连接哪些 LLM 服务商?

OpenAI、Anthropic、Google、Azure OpenAI、AWS Bedrock、OpenRouter、xAI、DeepSeek、Groq、Cohere 和 Ollama,以及您自己的自定义模型 API。

不同的助手或渠道可以使用不同的模型吗?

可以。模型注册表支持在每个工作区管理多个模型,并将其分配给渠道、客服和作用范围。路由规则可按成本、延迟、能力或语言选择模型,并在服务商出现故障时启用备用链路。

可以使用自托管或私有模型吗?

可以。您可以通过 Ollama 在自己的服务器上运行开源模型,也可以通过自定义 API 端点接入内部模型。

我的服务商 API 密钥如何得到保护?

服务商凭证在存储和传输过程中均已加密。基于角色的访问控制限制谁可以使用这些凭证,变更会记录在审计日志中,模型配置按工作区相互隔离。

首月 Growth 套餐免费

准备好连接您的模型了吗?

在 MonoChat 中添加凭证、配置路由并运行多模型助手,同时具备治理和监控。

每家企业一个兑换码 • 30 天内兑换 • 无需绑定银行卡

$150 助您起步。

领取