tencent cloud

文档反馈

访问日志

最后更新时间:2023-12-29 14:46:32

    功能简介

    访问日志功能用于记录 Web 应用防火墙防护域名的访问日志信息,提供防御域名最近30天访问日志查询和下载功能,及不少于180天的访问日志存储服务。启用访问日志功能后,您可以根据需要查询和下载访问日志,满足安全合规、安全运维等需求。
    注意:
    使用访问日志功能,需要先 购买安全日志服务包,并且根据 操作步骤 启用访问日志开关。只有开启访问日志开关的域名,Web 应用防火墙才会记录该域名的访问日志。
    关闭日志服务:如需关闭访问日志功能,可以在 续费管理 中,找到相应计费项取消。取消后,系统2个小时内停止新的访问日志写入,并于24小时内清空历史访问日志,请谨慎操作。
    升级日志服务容量:当存储的日志容量超过购买容量后,系统将自动停止新的访问日志写入,历史的访问日志不受影响,直到到达存储周期后开始自动删除。为了避免超量导致丢失访问日志,建议关注日志使用量,提前扩容避免超量导致访问日志丢失。

    操作步骤

    启用访问日志

    登录 Web 应用防火墙控制台,在左侧导航栏中,选择实例管理 > 域名接入,进入域名接入页面,在域名列表中选择域名,单击开启访问日志开关。
    
    

    查看日志

    1. 登录 Web 应用防火墙控制台,在左侧导航栏中,选择日志服务 > 日志服务,进入日志服务页面。
    2. 在日志服务页面,单击左上角的域名下拉框,选择所需域名后,单击确定,即可该域名的访问日志。
    
    3. 在日志服务页面,右上角可查看日志已使用容量进度条,单击了解详情,可跳转到 Web 应用防火墙的计费详情页面。
    
    
    4. 在日志服务页面,单击右上角存储配置,可以查看日志已使用容量进度条,和设置日志保存天数,单击保存,即可保存修改。
    说明:
    日志保存天数为1-30天。
    

    查询日志

    1. 登录 Web 应用防火墙控制台,在左侧导航栏中,选择日志服务 > 日志服务,进入日志服务页面。
    2. 在日志服务页面,可以用快速检索、过滤检索和语句检索查询所需日志。
    快速检索:主要是针对时间的快捷选择检索。
    
    过滤检索:选择所需字段和操作符,输入字段值后,单击确定,即可针对每个字段对日志进行筛选,并支持添加多个字段限制。
    
    语句检索:为用户提供专业的语句日志检索功能,满足更复杂的日志检索需求。输入所需内容后,单击
    
    ,即可查询。
    
    检索语法
    保留字符
    说明
    AND
    “与”逻辑操作符,例如 level:ERROR AND pid:1234
    OR
    “或”逻辑操作符,例如 level:ERROR OR level:WARNING
    NOT
    “非”逻辑操作符,例如 level:ERROR NOT pid:1234
    TO
    “范围”逻辑操作符,例如 request_time:[0.1 TO 1.0]
    ""
    双引号,引用一个短语词组(短语当作一个整体词组),例如 name:"john Smith"
    冒号,表示作用于的 key 字段,即键值检索,例如 level:ERROR
    *
    通配符查询,匹配零个、单个、多个字符,例如 host:www.test*.com
    ?
    通配符查询,匹配单个字符,例如 host:www.te?t.com
    ()
    分组操作符,控制逻辑运算优先级,例如 (ERROR OR WARNING) AND pid:1234
    >
    范围操作符,表示大于某个数值,例如 status:>400
    >=
    范围操作符,表示大于等于某个数值,例如 status:>=400
    <
    范围操作符,表示小于某个数值,例如 status:<400
    <=
    范围操作符,表示小于等于某个数值,例如 status:<=400
    []
    范围操作符,包含边界值的范围,例如 age:[20 TO 30]
    {}
    范围操作符,不包含边界值的范围,例如 age:{20 TO 30}
    \\
    转义符号,转义后的字符表示符号本身,例如 url:\\/images\\/favicon.ico,如不想使用转义符,可使用""包裹,例如url:"/images/favicon.ico",但需注意,双引号内的词会被当作一个整体,两种查询方式的详细区别可参见 配置索引 中的查询示例
    +
    逻辑操作符,类似 AND,+A 表示 A 一定存在,例如 +level:ERROR +pid:1234
    -
    逻辑操作符,类似 NOT,-A 表示 A 不存在,例如 +level:ERROR -pid:1234
    &&
    与逻辑,类似 AND,例如 level:ERROR && pid:1234
    !
    非逻辑,类似 NOT,例如 level:ERROR !pid:1234
    /
    正则表达式标识符,/${regExp}/ , 例如 /[mb]oat/表示搜索包含 moat 或 boat 的结果
    _exists_
    _exists_:key,返回 key 不为空的值,例如 _exists_:userAgent 表示搜索 userAgent 字段有值的结果
    ~
    相似搜索,例如 level:errro~,可以命中 level 为 error 关键字的结果
    注意:
    操作符区分大小写,例如 AND、OR 表示检索逻辑运算符,而 and、or 视为普通词组。
    多个检索语句用空格连接时,视为”或“逻辑,例如 warning error 表示包含 warningerror 关键字的结果。
    检索关键字中存在特殊字符时,需使用转义符进行转义,特殊字符包括 + - && || ! ( ) { } [ ] ^ " ~ * ? : \\。
    使用键值检索时(形如 key:value),键名(key)必须在日志主题的键值索引配置项里面。
    同时使用 AND 和 OR 逻辑运算符时,请使用()对检索条件进行分组,以明确逻辑优先级,例如(ERROR OR WARNING) AND pid:1234

    展示日志

    1. 登录 Web 应用防火墙控制台,在左侧导航栏中,选择日志服务 > 日志服务,进入日志服务页面。
    2. 在日志服务页面的展示模块,单击“字段名称”,会展示与本字段匹配的日志数前五的占比。
    
    3. 在展示模块,单击每条展示日志发生时间左侧的
    
    ,可以查看字段详情;单击 JSON,可以查看 JSON 格式的详情。
    
    JSON 字段说明
    字段名
    说明
    domain
    所属泛域名
    request_time
    请求耗时,客户端请求达到 Web 应用防火墙和从 Web 应用防火墙返回需要的时间
    uuid
    HTTP 请求唯一标识
    schema
    请求协议,HTTP 或者 HTTPS
    method
    客户端请求方法。
    url
    请求的 uri,客户端完整请求路径中,域名后第一个“/”到“?”之间的内容
    host
    客户端请求域名
    http_user_agent
    请求 UA
    headers
    HTTP 请求的头部
    upstream_status
    源站返回给 Web 应用防火墙的响应状态码
    status
    Web 应用防火墙返回给客户端的响应状态码
    CLB - WAF 状态码624为拦截,600为正常
    
    SAAS - WAF 状态码403为拦截,200为正常
    body_bytes_sent
    响应体大小
    upstream_response_time
    客户端请求从源站返回到 Web 应用防火墙需要的时间
    ip_info.country
    国家
    ip_info.city
    城市
    ip_info.province
    省份
    ip_info.operator
    运营商
    ip_info.ip_type
    IP 类型
    ip_info.idc
    IDC 机房
    ip_info.longtitude
    经度
    ip_info.dimensionality
    纬度
    4. 在展示模块,展示已筛选出来的日志内容,目前支持列表和字段两种展示方式。
    字段展示:默认展示字段模式,右上角切换图标可以操作切换。
    
    列表展示:单击
    
    ,切换至列表模式。
    
    列表展示字段说明
    字段名
    说明
    msec
    请求发生时候的时间戳
    schema
    请求协议,HTTP 或者 HTTPS
    method
    客户端请求方法
    host
    客户端请求域名
    url
    请求的 uri,客户端完整请求路径中,域名后第一个“/”到“?”之间的内容
    query
    HTTP 请求的 Query String,最大长度为 1K
    body
    请求的 body 数据
    http_referer
    源页面
    http_user_agent
    请求 UA
    http_x_forwarded_for
    出经过的所有代理
    cookie
    请求的 cookie 信息,最大长度为 1K
    upstream_status
    源站返回给 Web 应用防火墙的响应状态码
    upstream_response_time
    客户端请求从源站返回到 Web 应用防火墙需要的时间
    upstream_addr
    请求经过的上游服务器 IP
    status
    Web 应用防火墙返回给客户端的响应状态码
    upstream_status
    源站返回给 Web 应用防火墙的响应状态码
    upstream_response_length
    上游服务器返回的响应长度
    edition
    WAF 的版本,分成 sparta-waf,clb-waf,cdn-waf

    下载访问日志

    1. 登录 Web 应用防火墙控制台,在左侧导航栏中,选择日志服务 > 日志服务,进入日志服务页面。
    2. 在日志服务页面的展示模块, 单击
    
    ,进入下载任务页面,单击确定,即可创建下载任务。
    说明:
    同一时间段内只允许创建一个下载任务,请耐心等待。
    单次最多下载100万条日志,如果您需要下载的日志超过100万条,建议您分多次任务进行下载。
    当选择泛域名(如:*.abc.com)时,所有关联子域名(以.abc.com结尾)的日志也将会被下载。
    最多创建五条下载任务,请注意下载的任务数。
    
    3. 在下载任务页面,单击查看任务,可以查看下载任务的序号、创建时间、日志总数等信息。
    
    日志文件字段说明
    字段名
    说明
    domain
    所属泛域名
    bytes_sent
    响应大小,包含响应头,单位字节,下行带宽
    method
    客户端请求方法
    request_time
    请求耗时,客户端请求达到 Web 应用防火墙和从 Web 应用防火墙返回需要的时间。
    http_connection
    HTTP 请求的 Connection 头
    upstream_connect_time
    客户端请求从 Web 应用防火墙到源站需要的连接时间
    uuid
    HTTP 请求唯一标识
    upstream_addr
    请求经过的上游服务器 IP
    host
    客户端请求域名
    upstream_response_length
    上游服务器返回的响应长度
    schema
    请求协议,HTTP 或者 HTTPS
    http_user_agent
    请求 UA
    headers
    HTTP 请求的头部
    url
    请求的 uri,客户端完整请求路径中,域名后第一个“/”到“?”之间的内容
    http_x_forwarded_for
    出经过的所有代理
    http_referer
    源页面
    body
    请求的 body 数据
    remote_addr
    请求者 IP
    cookie
    请求的 cookie 信息,最大长度为 1K
    bot_client_ip
    bot 检测使用到的客户端 IP,一般和 remote_addr 一致
    request_length
    请求的大小,上行带宽
    http_accept
    HTTP 请求的 Accep t头
    status
    Web 应用防火墙返回给客户端的响应状态码。
    protocol
    HTTP 协议版本,例如:1.1、1.0 和 2.0等
    msec
    请求发生时候的时间戳
    pipe
    请求的 PIPE,nginx 的内置变量
    content_type
    HTTP 请求的 Content-Type 头
    time_local
    NGINX 的本地可读性的时间字符串
    upstream_response_time
    客户端请求从源站返回到 Web 应用防火墙需要的时间。
    server_addr
    WAF 的引擎内网 IP
    edition
    WAF 的版本,分成 sparta-waf,clb-waf,cdn-waf
    upstream_status
    源站返回给 Web 应用防火墙的响应状态码。
    body_bytes_sent
    响应体大小
    query
    HTTP 请求的 Query String,最大长度为 1K
    
    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持