概述
以 WorkBuddy、CodeBuddy IDE 为代表的智能助手,已经成为研发和办公场景中的重要生产力工具。此类助手通常直接接入云端大模型,能够快速投入使用。但在金融、政企和大型制造等对数据安全与合规要求较高的行业,代码仓库、内部文档和经营数据经由公网发送至第三方模型,可能带来数据出域、商业机密泄露和合规审计等风险。对于已经在私有网络中部署大模型的企业,关键是如何在不显著改变 Buddy 使用方式的前提下,让 Buddy 安全、稳定地调用企业私有模型。
模型路由 CMR 可以作为 Buddy 与私有模型之间的统一接入层:对外提供兼容 OpenAI 协议的访问地址,对内完成鉴权、协议转换、模型路由、限流和用量统计,并将请求转发至企业部署的私有模型。本最佳实践聚焦以下同一 VPC 内的纯内网接入场景:
私有模型部署在客户 VPC 内。
运行 CodeBuddy IDE 或 WorkBuddy 的服务器部署在同一 VPC。
CMR 创建在同一 VPC,并通过内网访问私有模型。
Buddy 通过 CMR 内网接入地址调用私有模型。
方案价值
CMR 在 Buddy 与私有模型之间提供统一接入和治理能力,主要具有以下价值。CMR 的作用不只是转发请求,而是将模型接入、凭证管理和调用治理集中到统一网关。Buddy 无需直接感知私有模型的真实地址和凭证,企业也可以在不改变用户主要使用方式的情况下调整底层模型。
|
数据主权与合规 | 客户端 Buddy 工具、CMR 模型路由网关与私有模型之间可构成全内网链路,代码与私有文档全程在 VPC 内网流转,模型请求不经公网第三方,满足等保与审计要求。 | 客户端内网接入,网关与私有模型内网直连,流量不出域 |
接入零改造 | 自建模型仅需替换接入地址与 Key,无需改动业务代码即可切换至私有模型。 | OpenAI 兼容协议与协议转换 |
密钥安全 | 业务侧仅持有 API Key,真实模型凭证由网关托管,人员流动不构成泄露风险。 | API Key 与模型 Key 物理分离 |
平滑演进 | 后续增减私有模型、调整路由策略均在网关侧完成,业务侧无感知。 | 模型选择集中于网关侧编排 |
架构说明
整体链路由三段构成:
客户端包含 CodeBuddy IDE、WorkBuddy ,统一使用 CMR 模型路由网关下发的 Client Key 发起请求。CMR 实例支持公网与内网两种接入方式,本场景中客户端通过内网接入 CMR,使客户端至网关的链路同样保持在内网,从而与网关至私有模型的内网直连共同构成端到端的纯内网方案。
CMR 模型路由网关是架构的信任边界与控制中枢,承担以下职责:校验 API Key 完成鉴权、将 OpenAI 请求转换为目标模型协议、将请求路由至对应私有模型,以及执行限流与用量统计。所有跨域的安全与治理动作均在该层收口,从而使两侧结构保持简洁。
VPC 内网私有化模型可包含私有代码模型、私有对话模型与行业微调模型等,均由客户自部署,网关通过内网直连方式访问,真实模型 Key 仅存于网关侧。对外的唯一入口为 CMR,模型仅对网关可见、不对业务可见。
在数据流向上,请求携带 API Key 进入网关,经鉴权与路由后以模型 Key 转发至对应私有模型,响应沿原路返回。其中的关键设计是 Client Key 与模型 Key 的物理分离:前者面向业务,支持批量下发与吊销;后者面向模型,集中托管且从不下发至客户端。该分离既是安全控制机制,也是业务无感替换模型能力的技术前提。
前提条件
1. 已在 VPC 内完成私有模型部署。模型对外暴露 OpenAI 兼容接口,并具备 Buddy 使用场景所需能力,例如多轮对话、代码理解、工具调用等。
3. 已在同一 VPC 内创建企业型内网 CMR 实例。具体操作请参见 创建模型路由实例。 5. 已在同一 VPC 内准备一台用于运行 Buddy 的服务器,并安装 CodeBuddy IDE 或 WorkBuddy。
6. Buddy 运行服务器、CMR 和私有模型之间的安全组及网络访问控制策略已放通所需端口。
操作步骤
步骤1:创建模型路由 API Key
为便于区分调用来源和独立管理访问策略,本实践分别为 WorkBuddy 和 CodeBuddy IDE 创建 API Key。
1. 进入已创建的 CMR 实例详情页,切换至用户组页签,选择目标用户组。如果不需要按业务或人员分组,可以选择未分组。单击新建 Key。
2. 在新建 Key 页面配置 Key 名称、标签、限制类型。创建完成后,复制并妥善保存完整的 API Key。
步骤2:配置 Buddy
WorkBuddy
1. 登录同一 VPC 内用于本实践的服务器,并启动 WorkBuddy。
2. 在 WorkBuddy 界面左下角单击账户入口,选择设置。
3. 在设置页左侧导航栏中选择模型,在自定义模型区域单击添加模型。
4. 提供商选择自定义 / Custom,并配置以下信息:
接口地址:http://<用户域名>/v1/chat/completions。
API Key:填写为 WorkBuddy 创建的 CMR API Key。
模型名称:填写 CMR 中配置的对外模型名称,本实例以默认模型 ModelRouter/auto 为例。
5. 根据私有模型的实际能力配置工具调用、图片输入和推理模式等选项。不要启用私有模型不支持的能力,单击保存。
6. 在 WorkBuddy 的模型选择框中选择刚刚添加的模型,聊天测试是否可以成功调用私有模型。
CodeBuddy IDE
1. 登录同一 VPC 内用于本实践的服务器,并启动 CodeBuddy IDE。
2. 单击模型选择按钮,选择配置自定义模型。
3. 提供商选择 Custom,并配置以下信息:
BASE URL:http://<用户域名>/v1/chat/completions。
API Key:填写为 CodeBuddy 创建的 CMR API Key。
模型名称:填写 CMR 中配置的对外模型名称,本实例以默认模型 ModelRouter/auto 为例。
4. 根据私有模型的实际能力配置工具调用、图片输入和推理等选项。不要启用私有模型不支持的能力,单击保存。
5. 在 CodeBuddy 的模型选择框中选择刚刚添加的模型,聊天测试是否可以成功调用私有模型。
步骤3:验证结果
完成配置后,按照以下步骤验证 Buddy、CMR 和私有模型之间的调用链路。
1. 分别在 WorkBuddy 和 CodeBuddy IDE 中选择已配置的私有模型,并发送不包含敏感信息的测试请求。
2. 确认 Buddy 能够正常返回模型响应。如需使用工具调用、图片输入、多轮对话或推理模式,还应根据私有模型的实际能力进行相应验证。
3. 可在用量详情页签,检查本次请求的模型名称、请求状态和 Token 用量,确认请求已通过 CMR 转发至目标私有模型。
相关文档