
功能描述 | 解决问题 |
OpenAI / Anthropic 兼容接口:面向客户端侧,提供统一接口协议,配置接入 CMR 即可透明切换后端供应商。 | 各厂商 API 格式、鉴权、参数不统一,应用侧需适配多套 SDK 与调用逻辑;切换或新增供应商需重复改造。 |
多厂商纳管:模型侧支持接入腾讯混元、DeepSeek 等主流模型,并支持自研、微调及私有化部署模型的 endpoint 的纳管。 | 自研、微调、私有化部署模型与公有云模型分散在不同入口,缺少统一纳管与统一调用方式。 |
功能描述 | 解决问题 |
意图路由:按业务意图(客服问答、代码生成、文档总结等)自动匹配模型,支持基于 Prompt 内容的意图分类与动态路由。 | 模型选择依赖人工经验,应用侧 if-else 规则复杂且难以持续优化。 |
负载感知调度:依据用量、繁忙度、延迟等实时指标,动态调度至负载最低的节点,规避热点过载。 | 请求集中到少数节点造成热点过载,延迟升高、限流增多。 |
会话亲和:多轮对话中同一会话始终路由至相同实例,保持上下文连续。 | 多轮对话被分散到不同实例,上下文断裂影响体验和缓存命中率。 |
灰度发布与流量染色:支持配置优先级与权重,将部分请求导向新模型,实现安全灰度。 | 新模型上线缺少可控的小流量验证手段,全量切换风险高。 |
功能描述 | 解决问题 |
混合组网:支持公网、VPC、IDC、专线 / 云联网等多种网络环境的统一接入。 | VPC / IDC 内模型、公网大模型分散在不同网络与权限体系内,网络难以可控互通。 |
公网加速:提供公网加速通道,优化跨域调用的延迟与稳定性。 | 模型跨域链路波动,延迟高且不稳定,影响业务体验。 |
功能描述 | 解决问题 |
健康检查与熔断:持续探测后端模型健康状态,异常节点自动隔离,恢复后自动加回。 | 模型不可用时请求仍被打到故障节点,故障扩散且需人工介入摘除。 |
自动重试:调用失败或超时时自动重试,支持可配置的重试策略(次数、间隔、退避算法)。 | 上游限流、超时或偶发错误直接透传到业务侧,调用失败率偏高。 |
多级故障切换:主模型不可用时,自动降级至备用模型或备用供应商,支持多级 Fallback 链配置。 | 单一模型或单一供应商故障即导致业务中断,应用侧缺少自动容灾能力。 |
功能描述 | 解决问题 |
网络层安全:路由实例原生部署于用户 VPC 内部,支持安全组和网络 ACL 等访问控制。 | 面向客户端侧的模型访问控制需要达到企业网络安全等级要求。 |
内容安全 WAF:内置可配置的 LLM-WAF 审核管道,可按配置规则对输入 Prompt 和返回内容进行实时内容风险检测,支持敏感信息脱敏、规则命中后的拦截及自定义规则2。 | 输入输出内容缺少合规检测,存在敏感信息泄露与违规内容风险。 |
细粒度访问控制:结合 CAM 与用户组能力,实现模型级、API Key 级权限管理。 | 模型 API Key 分散在业务代码中,权限无法按团队/应用隔离。 |
全链路审计(CLS):全部调用记录写入日志服务 CLS,支持检索、报表与合规审计。 | 调用链路缺少审计日志,安全合规与事后追溯要求无法满足。 |
功能描述 | 解决问题 |
多维成本拆分:按业务维度精细核算 Token 消耗与费用,支撑内部成本归因。 | 不同团队、应用、模型的 Token 用量难以拆分,成本归因与优化缺少依据。 |
预算与配额管控:为实例、API Key、用户组设定调用上限,超限自动告警或阻断,防止费用失控。 | Token 用量不可控,异常调用或突增导致费用失控。 |
语义缓存:对语义相似的重复请求进行缓存匹配,提升上游缓存命中率,减少无效 Token 消耗。 | 重复或高度相似的请求反复调用模型,产生大量无效 Token 消耗。 |
智能成本路由:依据用户配置、模型质量、延迟与价格等策略进行调度。 | 缺少质量、延迟与价格之间的权衡机制,高价模型被无差别使用。 |
功能描述 | 解决问题 |
统一调用监控:支持展示已接入且已开启相应监控采集的模型调用指标,如模型调用的请求量、成功率、延迟分布与 Token 消耗,并在支持的调用链路范围内提供追踪能力。 | 多模型调用状态分散,缺少统一视图掌握请求量、成功率与消耗情况。 |
LLM 专属指标:除传统 QPS 与延迟外,提供首 Token 延迟(TTFT)、Token 产出速率等指标,支持 P95 / P99 延迟分位统计。 | 传统 QPS / 延迟指标无法反映大模型体验,首包与产出速率无处衡量。 |
全链路追踪:基于 OpenTelemetry 协议,从网关入口到模型推理完成,追踪单次调用的完整链路。 | 单次调用耗时或失败原因难以定位,问题排查依赖人工比对日志。 |
智能告警:基于异常检测,Token 消耗突增、成功率骤降或延迟异常时自动通知。 | 异常与用量突增发现滞后,往往事后才被察觉。 |

文档反馈