tencent cloud

PrevNext

文档反馈

请输入关键字

Recent Pages

文档
日志服务
    文档
    Download PDF

    函数总览

    最后更新时间：2024-01-20 17:59:06
    下载PDF
    日志服务（Cloud Log Service，CLS）数据加工函数可以自由组合，来完成日志的清洗、结构化、过滤、分发、脱敏等场景。 如下图是一条含有 JSON 的日志，经过数据加工处理之后，变成结构化数据、然后对某个字段值进行脱敏、最后分发的流程。
    
    
    如下是数据加工函数的总览：
    键值提取函数类：从日志文本中提取字段/字段值。
    函数名称
    函数功能
    函数语法描述
    返回值类型
    ext_sep
    基于分隔符提取字段值内容
    ext_sep("源字段名", "目标字段1,目标字段2,目标字段...", sep="分隔符", quote="不参与分割的部分", restrict=False, mode="overwrite")
    返回提取后的日志(LOG)
    ext_sepstr
    基于指定字符（串）提取字段值内容
    ext_sepstr("源字段名","目标字段1,目标字段2,目标字段...", sep="abc", restrict=False, mode="overwrite")
    返回提取后的日志(LOG)
    ext_json
    提取 JSON 字符串格式的字段值
    返回提取后的日志(LOG) ext_json("源字段名",prefix="",suffix="",format="full",exclude_node="不平铺的JSON节点")
    返回提取后的日志(LOG)
    ext_json_jmes
    使用 jmes 表达式提取字段值
    ext_json_jmes(“源字段名”, jmes= "提取JSON的公示", output="目标字段", ignore_null=True, mode="overwrite")
    返回提取后的日志(LOG)
    ext_kv
    基于两级分割符提取字段值
    ext_kv("源字段名", pair_sep=r"\\s", kv_sep="=", prefix="", suffix="", mode="fill-auto")
    返回提取后的日志(LOG)
    ext_regex
    基于正则表达式提取字段值
    ext_regex(“源字段名”, regex="正则表达式", output=“目标字段1，目标字段2，目标字段.......”, mode="overwrite")
    返回提取后的日志(LOG)
    ext_first_notnull
    返回参数中第一个非 null 且非空字符的结果值
    ext_first_notnull(值1, 值2, ...)
    返回参数中第一个非 null 结果值
    富化函数类：在已有字段的基础上，根据规则新增字段。
    函数名称
    函数功能
    函数语法描述
    返回值类型
    enrich_table
    使用 csv 结构数据对日志中的字段进行匹配。当值相同时，可以将 csv 中的其他字段和值，添加到源日志中
    enrich_table(“csv源数据”, “csv富化字段”, output=“目标字段1，目标字段2，目标字段....”, mode="overwrite")
    返回映射后的日志(LOG)
    enrich_dict
    使用 dict 结构对日志中的字段值进行匹配。当指定的字段的值和 dict 中的 key 相同时，将此 key 对应的 value 赋值给日志中的另一字段
    enrich_dict(“JSON字典”, "源字段名", output=目标字段, mode="overwrite")
    返回映射后的日志(LOG)
    流程控制函数类：条件判断。
    函数名称
    函数功能
    函数语法描述
    返回值类型
    compose
    组合操作函数，类似于分支代码块的组合能力，可以组合多个操作函数，并按顺序执行，可以结合分支、输出函数使用
    compose("函数1","函数2", ...)
    返回日志(LOG)
    t_if
    对符合条件的日志，进行相应的函数处理，否则不进行任何处理
    t_if("条件", 函数)
    返回日志(LOG)
    t_if_not
    对不符合条件的日志，进行相应的函数处理，否则不进行任何处理
    t_if_not("条件",函数)
    返回日志(LOG)
    t_if_else
    基于条件判断，分别进行不同的函数处理
    t_if_else("条件", 函数1, 函数2)
    返回日志(LOG)
    t_switch
    基于多分支条件，分别进行不同的函数处理，如果存在不符合所有条件的数据，将被丢弃
    t_switch("条件1", 函数1, "条件2", 函数2, ...)
    返回日志(LOG)
    行处理函数类：日志的分发、丢弃、拆分。
    函数名称
    函数功能
    函数语法描述
    返回值类型
    log_output
    输出到指定的目标主题。可以配合分支条件使用，也可以单独使用
    log_output(日志主题别名)，该参数在新建数据加工任务时，目标日志主题别名处配置
    无返回，对目前的数据流进行输出
    log_split
    使用分隔符结合 jmes 表达式，对特定字段进行拆分，拆分结果分裂为多行日志
    log_split(字段名, sep=",", quote="\\", jmes="", output="")
    返回日志(LOG)
    log_drop
    丢弃符合条件的日志
    log_drop(条件1)
    返回日志(LOG)
    log_keep
    保留符合条件的日志
    log_keep(条件1)
    返回日志(LOG)
    log_split_jsonarray_jmes
    将日志根据 jmes 语法将 JSON 数组拆分和展开
    log_split_jsonarray_jmes("field", jmes="items", prefix="")
    返回日志(LOG)
    字段处理函数：字段的增删改查、重命名。
    函数名称
    函数功能
    函数语法描述
    返回值类型
    fields_drop
    根据字段名进行匹配，丢弃匹配到的字段
    fields_drop(字段名1, 字段名2, ..., regex=False,nest=False)
    返回日志(LOG)
    fields_keep
    根据字段名进行匹配，保留匹配到的字段
    fields_keep(字段名1, 字段名2, ..., regex=False)
    返回日志(LOG)
    fields_pack
    根据正则表达式来匹配字段名，并将匹配到的字段打包到新的字段，新字段值使用 JSON 格式进行组织
    fields_pack(目标字段名, include=".*", exclude="", drop_packed=False)
    返回日志(LOG)
    fields_set
    用来设置字段值，或者增加新字段
    fields_set(字段名1, 字段值1, 字段名2, 字段值2, mode="overwrite")
    返回日志(LOG)
    fields_rename
    字段重命名
    fields_rename(字段名1, 新字段名1, 字段名2, 新字段名2, regex=False)
    返回日志(LOG)
    has_field
    字段存在时，返回 True，否则返回 False
    has_field(字段名)
    返回条件值(BOOL)
    not_has_field
    字段不存在时，返回 True，否则返回 False
    not_has_field(字段名)
    返回条件值(BOOL)
    v
    获取字段值，返回对应字符串
    v(字段名)
    返回值字符串类型(STRING)
    值结构化处理函数类：JSON 数据的处理。
    函数名称
    函数功能
    函数语法描述
    返回值类型
    json_select
    通过jmes表达式，提取 JSON 字段值，并返回 jmes 提取结果的 JSON 字符串
    json_select(v(字段名), jmes="")
    返回值字符串类型(STRING)
    xml_to_json
    解析 xml 值并转换为 JSON 字符串，输入值必须为 xml 字符串结构，否则会导致转换异常
    xml_to_json(字段值)
    返回值字符串类型(STRING)
    json_to_xml
    解析 JSON 字符串值并转换为 xml 字符串
    json_to_xml(字段值)
    返回值字符串类型(STRING)
    if_json
    判断是否为 JSON 字符串
    if_json(字段值)
    返回条件值(BOOL)
    正则处理函数类：使用正则公式对文本中的字符进行匹配、替换。
    函数名称
    函数功能
    函数语法描述
    返回值类型
    regex_match
    基于正则对数据进行匹配，返回是否匹配成功，可以选择全匹配还是部分匹配
    regex_match(字段值, regex="", full=True)
    返回条件值(BOOL)
    regex_select
    基于正则对数据进行匹配，返回相应的部分匹配结果，可以指定匹配结果的第几个表达式，以及第几个分组（部分匹配+指定捕获组序号），如果最终没有匹配结果，则返回空字符串
    regex_select(字段值, regex="", index=1, group=1)
    返回值字符串类型(STRING)
    regex_split
    基于正则对数据进行分割，返回 JSON Array 字符串（部分匹配）
    regex_split(字段值, regex=\\"\\", limit=100)
    返回值字符串类型(STRING)
    regex_replace
    基于正则匹配并替换（部分匹配）
    regex_replace(字段值, regex="", replace="", count=0)
    返回值字符串类型(STRING)
    regex_findall
    基于正则进行匹配，并将匹配结果添加到 JSON 数组中，并返回 Array 字符串（部分匹配）
    regex_findall(字段值, regex="")
    返回值字符串类型(STRING)
    日期值处理类
    函数名称
    函数功能
    函数语法描述
    返回值类型
    dt_str
    将时间类的字段值（特定格式的日期字符串或者时间戳），转换为指定时区、格式的目标日期字符串
    dt_str(值, format="格式化字符串", zone="")
    返回值字符串类型(STRING)
    dt_to_timestamp
    将时间类的字段值（特定格式的日期字符串），同时指定字段对应的时区，转换为 UTC 时间戳
    dt_to_timestamp(值, zone="")
    返回值字符串类型(STRING)
    dt_from_timestamp
    将时间类的时间戳字段，指定目标时区后，转换为时间字符串
    dt_from_timestamp(值, zone="")
    返回值字符串类型(STRING)
    dt_now
    获取加工计算时的本地时间
    dt_now(format="格式化字符串", zone="")
    返回值字符串类型(STRING)
    字符串处理类
    函数名称
    函数功能
    函数语法描述
    返回值类型
    str_count
    在值中指定范围内查找子串，返回子串出现的次数
    str_count(值, sub="", start=0, end=-1)
    返回子串次数(INT)
    str_len
    返回字符串长度
    str_len(值)
    返回字符串长度(INT)
    str_uppercase
    返回大写字符串
    str_uppercase(值)
    返回值字符串类型(STRING)
    str_lowercase
    返回小写字符串
    str_lowercase(值)
    返回值字符串类型(STRING)
    str_join
    使用拼接字符串，拼接多值
    str_join(拼接字符串1, 值1, 值2, ...)
    返回值字符串类型(STRING)
    str_replace
    替换字符串，返回替换结果字符串
    str_replace(值, old="", new="", count=0)
    返回值字符串类型(STRING)
    str_format
    格式化字符串，返回格式化结果
    str_format(格式化字符串, 值1, 值2, ...)
    返回值字符串类型(STRING)
    str_strip
    剔除用户指定的字符序列中的字符，从字符串开头和结尾同时剔除，返回剔除后的结果
    str_strip(值, chars="\\t\\r\\n")
    返回值字符串类型(STRING)
    str_lstrip
    剔除用户指定的字符序列中的字符，从字符串左侧开头剔除，返回剔除后的结果
    str_strip(值, chars="\\t\\r\\n")
    返回值字符串类型(STRING)
    str_rstrip
    剔除用户指定的字符序列中的字符，从字符串右侧结尾部分剔除，返回剔除后的结果
    str_strip(值, chars="\\t\\r\\n")
    返回值字符串类型(STRING)
    str_find
    在值中查找子串，并返回子串出现的位置
    str_find(值, sub="", start=0, end=-1)
    返回指定第一次出现在值中的子字符串的位置(INT)
    str_start_with
    判断字符串是否以指定字符串开头
    str_start_with(值, sub="", start=0, end=-1)
    返回是否匹配的结果(BOOL)
    str_end_with
    判断字符串是否以指定字符串结尾
    str_end_with(值, sub="", start=0, end=-1)
    返回是否匹配的结果(BOOL)
    逻辑表达式
    函数名称
    函数功能
    函数语法描述
    返回值类型
    op_if
    根据条件判断，返回相应的值
    op_if(条件1, 值1, 值2)
    条件为 true 时，返回值1，否则返回值2
    op_and
    对值进行 and 运算，均为 True 时，返回 True，否则返回 False
    op_and(值1, 值2, ...)
    返回计算的结果(BOOL)
    op_or
    对值进行 or 运算，若存在参数值为 False 则返回 False，否则返回 True
    op_or(值1, 值2, ...)
    返回计算的结果(BOOL)
    op_not
    对值进行 not 运算
    op_not(值)
    返回计算的结果(BOOL)
    op_eq
    对值进行比较，相等则返回 True
    op_eq(值1, 值2)
    返回比较的结果(BOOL)
    op_ge
    对值进行比较，值1大于或等于值2时返回 True
    op_ge(值1, 值2)
    返回比较的结果(BOOL)
    op_gt
    对值进行比较，值1大于值2时返回 True
    op_gt(值1, 值2)
    返回比较的结果(BOOL)
    op_le
    对值进行比较，值1小于或等于值2时返回 True
    op_le(值1, 值2)
    返回比较的结果(BOOL)
    op_lt
    对值进行比较，值1小于值2时返回 True
    op_lt(值1, 值2)
    返回比较的结果(BOOL)
    op_add
    对值进行求和运算
    op_add(值1, 值2)
    返回求值结果
    op_sub
    对值进行求差运算
    op_sub(值1, 值2)
    返回求值结果
    op_mul
    对值进行乘积运算
    op_mul(值1, 值2)
    返回求值结果
    op_div
    对值进行除法运算
    op_div(值1, 值2)
    返回求值结果
    op_sum
    对多值累加求和
    op_sum(值1, 值2, ...)
    返回求值结果
    op_mod
    对值进行模计算
    op_mod(值1, 值2)
    返回求值结果
    op_null
    对值进行是否为 null 判断，是则返回 true，否则返回 false
    op_null(值)
    返回计算的结果(BOOL)
    op_notnull
    对值进行是否为非 null 判断，是则返回 true，否则返回 false
    op_notnull(值)
    返回计算的结果(BOOL)
    op_str_eq
    对字符串值进行比较，相等则返回 true
    op_str_eq(值1, 值2, ignore_upper=False)
    返回计算的结果(BOOL)
    类型转换函数类
    函数名称
    函数功能
    函数语法描述
    返回值类型
    ct_int
    对值进行整型转换，可指定原值的进制，转为十进制数值
    ct_int(值1, base=10)
    返回求值结果
    ct_float
    将值转换为浮点型数值
    ct_float(值)
    返回求值结果
    ct_str
    将值转换为字符串
    ct_str(值)
    返回求值结果
    ct_bool
    将值转换为布尔值
    ct_bool(值)
    返回求值结果
    编解码函数类
    函数名称
    函数功能
    函数语法描述
    返回值类型
    decode_url
    将编码 URL 进行解码
    decode_url(值)
    返回值字符串类型(STRING)
    IP 解析函数类
    函数名称
    函数功能
    函数语法描述
    返回值类型
    geo_parse
    解析出函数的地理位置
    geo_parse(字段值, keep=("country","province","city"), ip_sep=",")
    返回 JSON 字符串
    ​ ​ ​
    联系我们

    联系我们，为您的业务提供专属服务。

    联系我们
    技术支持

    如果你想寻求进一步的帮助，通过工单与我们进行联络。我们提供7x24的工单服务。

    提交工单
    7x24 电话支持
    Copyright © 2013-2024 Tencent Cloud. All Rights Reserved.
    隐私条款服务条款缓存条款