从 Elasticsearch 导入数据
下载
聚焦模式
字号
本文将介绍如何将Elasticsearch 中的数据导入至日志服务，包括历史数据的一次性导入和新增数据的持续导入，以便实现后续的查询分析、投递消费等操作。
前提条件
已有可用的自建 ES集群或腾讯云 ES 集群。
ES需要为 6.x以上版本。
所配置的 ES 账号必须具备以下权限：
monitor：用于查看版本信息，获取索引是否存在以及索引数量。
create_doc：用于 scroll 使用。
操作步骤
步骤1：选择日志主题
如果您想选择新的日志主题，可执行如下操作：
1. 登录 日志服务控制台。
2. 在左侧导航栏中，选择概览，进入概览页面。
3. 在快速接入 > 数据导入中，找到并单击 ES 数据导入，进入采集配置流程。
4. 在创建日志主题页面，根据实际需求，输入日志主题名称，配置日志保存时间等信息，单击下一步。
如果您想选择现有的日志主题，可执行如下操作：
1. 登录 日志服务控制台。
2. 在左侧导航栏中，选择日志主题，选择需要投递的日志主题，单击日志主题名称，进入日志主题管理页面。
3. 选择采集配置页签，在 ES 数据导入 栏单击新增。
步骤2：配置 ES 集群基本信息
1. 访问方式：支持选择通过内网地址或公网地址访问您的 ES 集群。
2. 基于选择的访问方式，请参见如下说明配置对应参数：
参数 | 是否必填 | 说明 |
公网访问地址 | 是 | Elasticsearch 集群的服务地址，填写 IP 或者域名 |
ES 端口 | 是 | Elasticsearch 集群访问端口，一般为 9200 |
用户名 | 否 | Elasticsearch 用户名。 仅在 Elasticsearch 集群开启用户认证时需要设置。 |
密码 | 否 | Elasticsearch 用户密码。 仅在 Elasticsearch 集群开启用户认证时需要设置。 |
参数 | 是否必填 | 说明 |
网络服务类型 | 是 | 若访问方式为通过内网地址访问，需指定目标 ES 集群的网络服务类型： CVM CLB |
所属网络 | 是 | 当网络服务类型选择为 CVM 或 CLB 时，需选择 CVM 或 CLB 所在的 VPC 实例。 |
内网访问地址 | 是 | Elasticsearch 集群的服务地址，填写 IP 或者域名。 |
ES端口 | 是 | Elasticsearch 集群访问端口，一般为 9200。 |
用户名 | 否 | Elasticsearch 用户名。 仅在 Elasticsearch 集群开启用户认证时需要设置。 |
密码 | 否 | Elasticsearch 用户密码。 仅在 Elasticsearch 集群开启用户认证时需要设置。 |
3. 完成集群配置后，可点击校验连通性。若提示成功则表示能够访问 ES 集群。
步骤3：配置 ES 集群导入规则
1. 配置导入规则。
具体配置内容见下方的表格。
参数 | 说明 |
导入规则 | 导入配置的名称。 |
索引列表 | 待导入的索引，多个索引之间使用英文逗号（,）隔开，例如 index1,index2,index3.... 最大支持200个索引。 |
ES 查询语句 | 用于过滤数据的查询语句，符合查询条件的数据才会导入到日志服务中。指定为 * 或置空表示导入时不过滤数据。 |
导入模式 | 支持选择导入历史数据和导入新增数据 导入历史数据：数据导入完成后，任务就会完成。 导入新增数据：导入任务会一直运行。 如果选择导入新增数据，必须指定时间字段。 |
日志时间来源 | 支持选择日志采集时间和指定日志字段。 日志采集时间：日志导入到 CLS 的时间作为日志的时间戳 指定日志字段：指定日志中代表时间的字段名，该字段的值将会用作日志的时间戳。 注意： 使用采集时间作为时间字段场景下，ES 集群需开启对_id 字段的排序。 |
日志时间字段 | 日志时间来源为指定日志字段时才需要填写该内容，指定日志中代表时间的字段名，该字段的值将会用作日志的时间戳。 注意： 指定的时间字段类型需要为 keyword 类型，指定为 text/nested/object/binary 不支持排序会导致数据导入。 |
时间解析格式 | |
时间字段时区 | 确认了日志中的时间字段与格式，需选择以下两种不同的时区标准： UTC （协调世界时） GMT （格林威治标准时间） |
导入时间范围 | 指定需导入的日志的时间范围。只有设置了时间字段后，此配置才有效。 |
起始时间 | 只有当导入模式为导入新增数据，才会有该选项。指定导入数据的起始时间 |
数据最大延迟 | 用于指定数据产生到写入 ES 的最大延迟时间。 默认600s，最大3600s。 仅导入模式为自动导入新增数据后，此配置才有效。 如果设置的值比真实延迟小，将导致有些数据无法从 ES 导入到日志服务。 |
检查新数据周期 | 检查 ES 中新增数据的周期，默认值为300s，最小值60s。 |
2. 配置好内容后，单击预览可查看基于当前配置的数据导入结果。如果预览到的数据不符合预期，请修改配置后重试。
如您需要对采集到的 CLS 日志进一步处理，如结构化、脱敏、过滤，然后再写入日志主题，您可单击页面下方的数据加工，添加数据加工，最后配置索引。
步骤4：检查索引配置
注意：
检索必须开启索引配置，否则无法检索。
步骤5：查看 ES 导入任务
完成 ES 导入任务后，您可在日志主题详情页的采集配置页签中找到所有已创建的 ES 导入任务。
步骤6：检索分析日志
完成 ES 导入任务后，即可开始使用日志的检索与分析，以及更高阶的仪表盘告警等功能了。
检索分析
监控告警
仪表盘
数据加工
日志字段说明
元数据字段
字段 | 描述 |
__TAG__.es_url | 日志来源的 ES 集群的 URL 地址。 |
__TAG__.es_index | 日志来源的索引信息。 |
其中日志所属的 ES 文档 ID（_id 字段），不作为元数据字段，作为日志字段在日志中呈现。
规格与限制
限制 | 描述 |
单条日志大小 | 支持导入的单条日志最大为1M。超过限制的部分会丢弃。 |
导入任务数量 | 1个主题支持最多100个 ES 导入任务。 |
导入索引数量 | 1个任务最大支持200个 ES 索引的导入。 |
文档反馈