腾讯云智能体开发平台提供丰富的底层模型调用选择,可以在模型广场中进行设置和管理。
模型介绍
预置模型
腾讯云智能体开发平台为用户预置了高性能的腾讯优图大模型和 DeepSeek 模型。这些模型可以直接在平台中使用,无需额外配置。
第三方模型
模型广场支持用户通过配置 API Key 的方式,灵活接入多种主流第三方大模型服务,扩展智能体能力边界。操作步骤如下:
1. 进入模型广场,在待添加区域选择想要使用的模型供应商,单击添加 :不同模型的能力表现,参数类型会不一样,您可以根据自身业务场景的需求选择合适的模型供应商,然后在模型广场页面,找到您希望接入的第三方模型供应商卡片,单击下方的添加。
2. 获取 API Key :根据弹出的提示,访问该第三方模型供应商的官方网站,注册并获取您的 API Key 。不同模型的 API Key 获取方式可能有所不同,请参照其官方文档指引。
3. 配置 API Key :将获取到的 API Key 粘贴到设置界面对应的输入框中,单击确定完成配置。配置成功后,该第三方模型供应商即可在您的模型广场中显示为“可使用”状态。
4. 管理模型
对于已配置或预置的模型,单击模型卡片上的下拉列表或相关按钮,您可以选择“启用”或“禁用”该模型。启用后的模型将会在您进行应用开发时,在模型列表中显示并可供选择使用;禁用后则不会显示。
用户自定义模型
用户自定义添加 OpenAI 协议兼容 LLM 模型
除了预置模型和第三方模型,模型广场还提供了用户自定义模型的接入入口。用户可以通过 OpenAI 兼容性接口,将自行训练或部署的模型接入平台,实现高度定制化的智能体开发。操作步骤如下:
1. 单击 OpenAI Compatible 卡片,进行添加。
2. 选择 LLM,填入对应的参数,即可完成模型添加。
用户自定义添加向量模型
模型广场支持用户通过 OpenAI Compatible 卡片添加自定义向量模型。请注意,当前仅支持1024维数文本向量模型。
用户自定义添加重排序模型
模型广场支持用户自定义添加重排序模型。Tencent Cloud ADP 提供了重排序模型接口的标准协议,用户自定义添加的重排序模型需遵循 ADP 定义的协议要求。
Rerank(重排序)接口用于对文档列表进行相关性排序,根据查询语句对多个文档进行打分和排序,返回最相关的文档。
基本信息
|
接口路径 | $BASE_URL/rerank
|
请求方法 | POST
|
Content-Type | application/json
|
Authorization | Bearer $API_KEY
|
请求参数
|
model
| string | 是 | 使用的模型名称 |
query
| string | 是 | 查询语句,用于与文档进行相关性匹配 |
documents
| array[string] | 是 | 待排序的文档列表 |
top_n
| integer | 否 | 返回前N个最相关的文档,不指定则返回所有文档 |
请求示例
curl -X POST https:
-H "Content-Type: application/json" \\
-H "Authorization: Bearer your-api-key" \\
-d '{
"model": "rerank-model-v1",
"query": "人工智能的应用场景",
"documents": [
"人工智能在医疗领域的应用越来越广泛",
"机器学习是人工智能的一个重要分支",
"今天天气很好,适合出门游玩",
"深度学习技术推动了计算机视觉的发展",
"人工智能可以帮助企业提高生产效率"
],
"top_n": 3
}'
响应参数
|
id
| string | 请求id |
model
| string | 使用的模型名称 |
usage
| object | token 使用情况统计 |
usage.prompt_tokens
| integer | 输入 token 数量 |
usage.total_tokens
| integer | 总 token 数量 |
results
| array[object] | 排序结果列表,按相关性得分降序排列 |
results[].index
| integer | 文档在原始列表中的索引位置(从0开始) |
results[].relevance_score
| float | 相关性得分,范围通常为0-1,分数越高表示越相关 |
响应示例
{
"id": "50660fc3-2c85-4000-842f-a62a311c8ca3",
"model": "rerank-model-v1",
"usage": {
"prompt_tokens": 150,
"total_tokens": 150
},
"results": [
{
"index": 2,
"relevance_score": 0.95
},
{
"index": 0,
"relevance_score": 0.89
},
{
"index": 1,
"relevance_score": 0.85
}
]
}
在应用开发中使用模型
当您在模型广场中启用所需模型后,即可在智能体应用开发过程中选择并使用它们,在模型设置或选择环节,您将会在模型列表中看到所有已在模型广场中启用的模型。选择您希望使用的模型,并进行后续的应用开发功能配置。
标准模式应用设置中的应用运行模型,支持选择模型广场已配置的第三方模型服务。可以前往 应用设置概述-模型设置 查看详细使用指南。 标准模式知识处理模型,支持选择模型广场已配置的第三方模型服务。可以前往 知识处理模型设置 查看详细使用指南。 Multi-Agent模式应用模型,支持选择模型广场已配置的第三方模型服务。可以前往 Multi-Agent设置 查看详细使用指南。 工作流中大模型相关节点,支持选择模型广场已配置的第三方模型服务。可以前往 大模型节点 查看详细使用指南。 通过以上步骤,您可以灵活地管理和使用模型广场中的各类模型。若需要使用模型对比调试功能可以前往 对话调试 查看使用指南。 第三方模型和用户自定义模型支持按工作空间分别查看及使用
同一个主账号下,平台预置模型,跨工作空间可查看、可使用;第三方模型、用户自定义模型支持按 工作空间 分别查看、使用。