- 动态与公告
- 新手指引
- 产品简介
- 购买指南
- 快速入门
- 操作指南
- 最佳实践
- 开发者指南
- API 文档
- History
- Introduction
- API Category
- Making API Requests
- Topic Management APIs
- Log Set Management APIs
- Index APIs
- Topic Partition APIs
- Machine Group APIs
- Collection Configuration APIs
- Log APIs
- Metric APIs
- Alarm Policy APIs
- Data Processing APIs
- Kafka Protocol Consumption APIs
- CKafka Shipping Task APIs
- Kafka Data Subscription APIs
- COS Shipping Task APIs
- SCF Delivery Task APIs
- Scheduled SQL Analysis APIs
- COS Data Import Task APIs
- Data Types
- Error Codes
- 常见问题
- 服务等级协议
- CLS 政策
- 联系我们
- 词汇表
- 动态与公告
- 新手指引
- 产品简介
- 购买指南
- 快速入门
- 操作指南
- 最佳实践
- 开发者指南
- API 文档
- History
- Introduction
- API Category
- Making API Requests
- Topic Management APIs
- Log Set Management APIs
- Index APIs
- Topic Partition APIs
- Machine Group APIs
- Collection Configuration APIs
- Log APIs
- Metric APIs
- Alarm Policy APIs
- Data Processing APIs
- Kafka Protocol Consumption APIs
- CKafka Shipping Task APIs
- Kafka Data Subscription APIs
- COS Shipping Task APIs
- SCF Delivery Task APIs
- Scheduled SQL Analysis APIs
- COS Data Import Task APIs
- Data Types
- Error Codes
- 常见问题
- 服务等级协议
- CLS 政策
- 联系我们
- 词汇表
ETL 日志处理
最后更新时间：2024-01-20 17:59:36
操作场景
本文为您介绍使用 云函数（Serverless Cloud Function，SCF） 对日志服务（Cloud Log Service，CLS）日志进行处理。其中，CLS 主要用于日志采集，SCF 主要提供节点计算能力。
数据流程如下：
前提条件
操作步骤
创建日志主题
说明：
ETL 数据处理的源端和终端均为 CLS，故至少需创建两个主题。
创建云函数 SCF
地域：选择北京地域。
函数名称：命名为 “CLSdemo”。
创建方式：使用模板创建，选择CLS日志ETL模板。
注意：
函数需要在函数配置页面中，选择和 CLS 相同的 VPC 和子网。
配置 CLS 触发器
1. 登录 日志服务控制台。
2. 在左侧导航栏中，单击日志主题，进入日志主题管理页面。
3. 找到刚创建的日志主题，单击日志主题ID/名称，进入该日志主题详情页面。
4. 在日志主题详情页面，选择函数处理页签，单击创建。
5. 在弹出的“函数处理”窗口中，添加已创完成的函数，单击确定。
主要参数信息如下，其余配置项请保持默认：
命名空间：选择函数所在的命名空间。
函数名：选择 创建云函数 SCF 步骤中已创建的云函数。
别名：选择函数别名。
最长等待时间：单次事件拉取的最长等待事件，默认60s。
测试函数功能
1. 下载 测试样例 中的日志文件，并解压出 demo-scf1.txt，导入至源端 CLS 服务。
2. 切换至 云函数控制台，查看执行结果。
在函数详情页面中选择日志查询页签，可以看到打印出的日志信息。
3. 切换至终端 CLS，查看数据处理结果。
说明：
您可以根据自身的需求编写具体的数据处理方法。
是
否
本页内容是否解决了您的问题？