tencent cloud

概述

日志服务是集日志采集、日志存储、日志检索、图表分析、监控告警、日志投递于一体的平台化服务。通过日志服务，可以将分散的日志汇聚起来进行集中式存储管理，并进行检索分析，也支持对日志主题执行监控告警任务，还可以将数据集中收集后投递到对象存储（Cloud Object Storage，COS）等云产品进一步分析。

为了帮助用户快速入门日志服务，本文将演示使用日志服务的基本功能，演示包括：

• 如何使用 LogListener 采集日志
• 如何检索日志
• 如何投递日志

操作步骤

1. 服务开通

首先，您需要在腾讯云官网申请开通 日志服务。

2. 下载安装 LogListener

LogListener 是日志服务的采集客户端，通过 LogListener 可实现快速无侵入式的把日志数据采集到日志服务中来，具体安装步骤如下：

2.1 判断网络是否可达

安装 LogListener 要求日志源机器的网络与日志服务的可用地域网络互通（腾讯云云服务器（Cloud Virtual Machine，CVM）默认内网访问日志服务）。
您可以执行以下命令检查网络连通性，其中<region> 为日志服务所在地域简称，具体地域信息请参阅 可用地域 文档。

telnet <region 简称>.cls.tencentyun.com 80

2.2 查看（或创建）密钥对

登录 访问管理控制台，查看（或创建）密钥对，并确认密钥状态为启用。

2.3 安装 LogListener

本文演示日志采集的环境搭建在云服务器 CentOS 7.2（64位）环境上。LogListener 下载及详细安装步骤请参见 LogListener 安装指南。

3. 创建日志主题

日志服务区分地域。为了降低网络延迟，请尽可能选择与服务邻近的服务地域创建日志资源（支持地域详见 地域列表）。日志主题管理主要包含日志集和日志主题，一个日志集表示一个项目，一个日志主题表示一类服务，单个日志集可以包含多个日志主题。

3.1 日志主题创建

1. 登录 日志服务控制台。

2. 在左侧导航栏中，单击日志主题，进入日志主题管理页面。

3. 选择日志主题的地域，单击创建日志主题。

4. 在弹出的创建日志主题窗口中，填写相关信息。
   

   • 日志主题名称：例如 topic_test
   • 日志集操作：默认选择当前地域现有的日志集。如需新建日志集，请选择创建日志集，输入日志集名称（例如 cls_test）。

5. 单击确定。

   • 创建好的日志主题会出现在日志主题列表中。

   • 新创建的日志集可单击管理日志集，在展开的日志集列表页面进行查看。

4. 创建机器组

日志服务使用 机器组 来统一管理一组日志源机器。

1. 在左侧导航栏中，单击机器组管理，进入到机器组管理页面。

2. 选择合适的地域，单击新建机器组。

3. 在弹出的窗口中，填写相关信息。
   一个机器组可以填入多个机器 IP 地址（每行一个 IP 地址）。如果机器是 CVM，直接填写内网 IP 地址即可，更多信息请参考 机器组管理。

4. 单击确定。
   机器组创建完成后，可单击操作栏中的查看，检查 LogListener 与服务端的连接状态。

   • 如果状态正常，表示客户端 LogListener 已成功连接到日志服务。
   • 如果状态异常，请参考 机器组异常 文档进行排查。

5. 配置 LogListener

1. 在左侧导航栏中，单击日志主题，进入日志主题管理页面。
2. 单击对应的日志主题ID/名称，进入日志主题管理页面。
3. 选择采集配置页签，在该页签下，为该日志主题指定采集路径、绑定机器组、解析模式。

   说明：

   如下操作仅说明如何使用 LogListener 采集日志，更多信息参考 采集方式。

5.1 配置采集路径

采集路径需要匹配机器上日志文件的绝对路径，填写参数有两个：目录前缀和日志文件名，填写格式为[目录前缀表达式]/**/[文件名表达式]，LogListener 会按照[目录前缀表达式]匹配所有符合规则的公共前缀路径，并监听这些目录（包含子层目录）下所有符合[文件名表达式]规则的日志文件，参数详细说明如下：

例如，待采集文件的绝对路径是/cls/logs/access.log，则采集路径填写的目录前缀是/cls/logs，日志文件名填写access.log。

5.2 绑定机器组

选择预先创建好的机器组，将当前日志主题与机器组关联起来后，LogListener 将按照所配置的规则监听采集机器组上的日志文件（一个日志主题可以绑定多个机器组，但一个日志文件只能上报到一个日志主题）。

5.3 配置解析模式

日志服务提供多种日志解析模式（例如单行全文、分隔符、JSON、完全正则等模式），本文以分隔符格式日志为例进行说明（详情参考 分隔符格式），日志样例如下：

Tue Jan 22 14:49:45 2019;download;success;194;a31f28ad59434528660c9076517dc23b

• 选择提取模式
  本文以分隔符格式日志举例，所以在“键值提取模式”配置项中选择分隔符，并且自定义选择分号作为日志分隔符。
• 输入日志样例并抽取键值对
  在日志样例框中输入一条完整的日志，确认后将自动抽取键值对（key-value），然后为每组键值对定义唯一的键名称（key）。
  在本示例中，日志被解析成Tue Jan 22 14:49:45 2019，download，success，194 和a31f28ad59434528660c9076517dc23b 五个字段，依次为每个字段定义键名称（key）：time，action，status，size，hashcode，这样 LogListener 将按照所定义的结构化格式进行数据采集。

6. 索引配置

日志服务的检索分析功能主要基于分词索引，目前提供两种索引类型：全文索引和键值索引。在日志主题的索引配置页进行索引管理（可以同时开启两种索引）。

本章节以键值索引为例说明配置方法，在日志集管理页面，单击索引配置进入到索引管理页面，选择编辑键值索引，然后将需要进行检索分析的字段（键名key）配置到键值索引中，并每个字段的键值索引指定数据类型，目前支持long、double、text等数据类型，其中text类型可以指定分词符（分词符将字符串切分成多个分词）。在上述例子中，为time，action，status，size，hashcode设置键值索引，其中size设置为long类型。

开启索引后，新写入的数据将会按照所配置规则建立索引，索引会持久化存储一段时间（根据您所配置的存储周期而定），只有建立索引的部分才能进行日志查询分析。因此，修改索引规则或关闭索引仅对新写入的数据生效，未过期的历史数据仍可被检索。

7. 日志投递

日志服务可以将数据投递到 COS /消息队列 Ckafka 中，不仅可以实现低成本长时间日志存储，还可以进行离线日志大数据分析。

7.1 投递至 COS

如需开启日志投递到 COS，可执行如下步骤：

1. 创建 COS 存储桶。
2. 登录 日志服务控制台。
3. 选择对应的日志主题ID/名称，进入日志主题管理页面。
4. 单击投递到COS页签，进入投递配置页面。
5. 单击添加投递配置，进行创建投递任务。
   日志服务目前支持 分隔符 CSV 格式 和 JSON 格式 投递方式。

完成创建投递任务后，日志服务异步地将数据投递到目标存储桶中。您可以在目标日志主题的“投递到COS”页签或控制台左侧导航栏的“投递任务管理”中，查看数据投递情况。

7.2 投递至 Ckafka

仅支持投递后续新写入的日志数据。
如需开启投递到 Ckafka，可执行如下步骤：

1. 创建 Ckafka 实例和 Topic。
2. 登录 日志服务控制台。
3. 选择对应的日志主题ID/名称，进入日志主题管理页面。
4. 单击投递到Ckafka页签，进入消费配置页面。
5. 单击编辑，进入投递至Ckafka编辑页面。
6. 选择对应的 Ckafka 实例，单击确定，启动 Ckafka 消费。

日志服务目前支持 JSON、原始内容数据格式投递，您可以在被消费的日志主题的“投递到Ckafka”页签中，查看数据投递情况。