tencent cloud

文档模型路由操作指南创建模型路由实例

创建模型路由实例

下载
聚焦模式
字号
最后更新时间: 2026-11-17 14:21:03
本文档已由 AI 辅助审校
本文介绍如何创建模型路由实例。模型路由实例是模型路由能力的承载单元,通过创建模型路由实例,用户可统一管理模型接入、流量分发、限流控制、网络访问等策略。

前提条件

建议提前阅读 使用约束 与 支持模型了解相关信息。

操作步骤

2. 在左侧导航栏中,单击实例管理进入实例列表页。
3. 在实例列表页中,单击新建,参数说明如下。
参数
说明
地域
选择实例地域。
网络类型
支持公网和内网两种网络类型。
公网实例,直接面向互联网提供服务。
内网实例,仅在 VPC 内部提供服务,适合内部系统互联。
监听协议
支持 HTTP 和 HTTPS 两种协议。
证书
仅选择 HTTPS 协议时需要选择,您可以选择 SSL 证书平台 中已有的证书,或新建上传证书。
所属网络
选择私有网络。私有网络是用户在腾讯云上建立的一块逻辑隔离的网络空间,在私有网络内,您可自由定义网段划分、IP 地址和路由策略。
计费模式
支持按规格计费和按用量计费两种模式。
按规格计费:不同规格的 CMR 实例对应的费用不同,超过规格限制会自动限流。
按用量计费:零调用零费用,若用量较大可能产生高额账单。
资源包抵扣
按规格计费:可选择是否使用资源包抵扣。若选择资源包抵扣,资源包用尽后实例将转为后付费按小时扣费。
按用量计费:仅支持选择资源包抵扣。资源包用尽后实例将停止服务,请及时续费以保障业务连续性。
规格
选择按规格计费时,可按需选择不同规格,不同规格的 TPM 限速值和费用,详见 计费概述。
限制类型
默认可设置 TPM 和 RPM,也可选择合适的 积分预算。其中,按规格计费的实例,TPM 限速值默认为所选规格的上限,不支持修改。
TPM
每分钟允许处理的最大 Token 数(Tokens Per Minute),单位:千/分钟。
仅限制类型为速率限制时支持调整,限制类型为积分预算则沿用积分预算模板设置。
RPM
每分钟允许的最大请求次数(Requests Per Minute),单位:次/分钟。
仅限制类型为速率限制时支持调整,限制类型为积分预算则沿用积分预算模板设置。
实例名称
最多支持 255 个字符。
标签
选择标签键和标签值,也可选择添加标签,详情请参见 创建标签。
4. 完成以上参数配置后,单击确定创建实例。在实例列表中,即可查看您创建的实例。

后续操作

1. 创建模型路由访问密钥,详细操作指导请参见 创建模型路由访问密钥。
2. 新增 BYOK 模型,详细操作指导请参见 创建 BYOK 实例。
3. 关联模型并配置模型路由策略,详细操作指导请参见 配置模型调度管理。


帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈