SCF + CLS 日志转存至 ES

Recent Pages

SCF + CLS 日志转存至 ES

最后更新时间：2023-06-05 15:58:08

操作场景
本文为您介绍如何通过云函数 SCF 将 CLS 日志转储至 Elasticsearch Service（ES）。其中，CLS 主要用于日志采集，SCF 主要提供数据加工的节点计算能力。数据处理流程图请参见 函数处理概述。
操作步骤
创建日志集和主题
1. 登录 日志服务控制台，在左侧导航栏中单击日志主题。
2. 进入日志集管理页面，在页面上方选择日志集的地域。
3. 单击创建日志主题，在弹出的创建日志集窗口中，填写相关信息：
日志主题名称：例如 project_test
日志集名称：例如 nginx
﻿
4. 单击确定，即可创建日志集和主题。
5. 日志主题新增成功，将进入日志主题管理页，如下图所示： 
﻿
创建云函数 SCF
1. 登录 Serverless 控制台，进入函数服务页面。
2. 在“函数服务”页面上方选择北京地域，并单击新建进入新建函数页面，配置以下参数：
创建方式：选择模板创建。
模糊搜索：输入“CLS 消息转储至 ES”，并进行搜索。
3. 单击模板中的查看详情，即可在弹出的“模板详情”窗口中查看相关信息，支持下载操作。单击下一步，进入函数配置页面。
﻿
4. 在基础配置中，函数名称已经自动生成，可根据需要自行修改。按照引导配置环境变量和运行角色，如下图所示：
环境变量：新增如下环境变量，参考表格进行填写。如下图所示：
﻿
key
value
是否必填
ES_Address
ES 服务地址
是
ES_User
ES 用户名，默认为 elastic。
是
ES_Password
ES 用户登录密码。
是
运行角色：勾选启用，选择“配置并使用SCF模板运行角色”。
5. 在网络配置中，为私有网络勾选启用，并选择和 Elasticsearch 相同的 VPC 和子网。如下图所示： 
﻿
6. 函数配置保持默认配置，单击完成，完成函数的创建。
配置 CLS 触发器
1. 登录 日志服务控制台，在左侧导航栏中单击日志集管理。
2. 找到已创建的日志集，在其右侧操作栏中，单击查看，进入日志集详情页面。
3. 在日志主题详情页面，选择函数处理并单击新建。在弹出的“函数处理”窗口中添加已创完成的函数。如下图所示： 
﻿

 主要参数信息如下，其余配置项请保持默认：
命名空间：选择函数所在的命名空间。
函数名：选择 创建云函数 SCF 步骤中已创建的云函数。
别名：选择函数别名。
最长等待时间：单次事件拉取的最长等待时间，默认60s。
测试函数功能
1. 下载 测试样例 中的日志文件，并解压出 demo-scf1.txt，导入至源端 CLS 服务。
2. 切换至 Serverless 控制台，查看执行结果。
在函数详情页面中选择日志查询页签，可以看到打印出的日志信息。如下图所示： 
﻿
3. 切换至 Elasticsearch Service 控制台，查看数据转储及加工结果。
说明
您可以根据自身的需求编写具体的数据加工处理方法。