功能介绍
通过 BOT 管理,可以在 BOT 管理中开启并配置对应模块内容,并结合 BOT 流量分析与访问日志进行观察和分析。根据流量分析提供的会话状态信息进行精细化策略设置,保护网站核心接口和业务免受 BOT 侵害。
BOT 管理设置支持配置 BOT 场景类型、前端对抗、威胁情报、AI 策略、智能统计、动作策略、自定义规则、会话管理、合法爬虫模块,通过配置这些模块,实现对 BOT 的精细化管理。BOT 实践教程流程图如下所示:
说明:
本文档侧重操作步骤和案例分析。各模块的前提条件、功能原理、全局配置方式及误杀风险说明,请参见 概述、防护模块。 典型场景配置指引
以下列举了几种常见的业务防护需求及推荐配置思路。
秒杀/抢购防护
场景:大促期间脚本批量下单、黄牛囤货,正常用户无法公平参与。
配置思路:
1. 创建 BOT 场景,业务场景类型选择秒杀,系统会自动生成对应的基础规则。
2. 启用前端对抗,先以监控模式观察命中流量,确认均为脚本请求后再切换为拦截。
3. 启用智能统计(智能推荐模式),自动识别高频异常访问。
4. 配置会话管理,通过 Cookie 中的用户标识区分同一 IP 下的不同用户(黄牛通常使用代理 IP 池绕过 IP 维度限制)。
5. 配置动作策略:高分请求设为拦截,中分请求设为人机识别。
内容反爬
场景:竞品通过自动化工具批量爬取商品价格、文案内容等核心数据。
配置思路:
1. 创建 BOT 场景,业务场景类型选择爬文案/爬内容。
2. 启用前端对抗,开启页面防调试和自动化工具识别,以拦截基于 headless 浏览器、curl 等方式的自动化请求。
3. 启用威胁情报,拦截 IDC 来源和恶意代理 IP。
4. 启用 AI 策略,识别模拟浏览器行为的高级爬虫。
5. 若仍有漏网流量,可在 BOT 流量分析 中提取异常特征,配置自定义规则进行精准拦截。 撞库/账号安全
场景:攻击者利用泄露的账号密码库批量尝试登录,盗用用户账号。
配置思路:
1. 创建 BOT 场景,业务场景类型选择登录。
2. 启用威胁情报,拦截已知恶意 IP 段和 IDC 来源。
3. 启用智能统计,识别高频登录尝试。
4. 配置会话管理,区分同一 IP 下不同用户的登录行为。
5. 配置动作策略:异常登录请求先设为人机识别,确认恶意后再切换为拦截。
注意:
以上场景的各模块上线时建议先以监控模式观察命中流量,确认不影响正常业务后再切换为拦截。误杀风险详情参见 概述。 创建 BOT 场景
该功能依托腾讯多年 BOT 治理的专家经验,针对 BOT 中常见的秒杀、爬文案/爬内容和登录等场景,从前端对抗、威胁情报、AI 策略、智能统计、动作策略、会话管理、合法爬虫和自定义规则等维度基于专家经验进行设置,解决客户配置难的问题,简单易用,轻松上手。
1. 登录 WAF 控制台,在左侧导航栏中,选择 BOT 管理 > BOT 规则配置。 2. 在 BOT 规则配置页面,左上角选择需要防护的域名,单击 BOT 防护。
3. 在 BOT 防护页面,单击新建场景。
4. 在新建场景弹窗中,配置相关参数,单击立即创建。
注意:
选中秒杀、登录和爬文案/爬内容中的任意一个场景与自定义场景互斥。
选择对应场景后,将自动生成防护对应业务场景的自定义规则,规则默认为观察模式,可观察命中流量后调整为拦截模式。
参数说明:
自定义场景名称:描述场景的名称,不可超过 50 个字符。
选择需要防护的业务场景:可以选择一个或多个系统预设场景,或者选择自定义场景。预设场景(无论是单选还是多选)与自定义场景互斥,不可同时启用。
选择默认启用规则集:系统默认勾选对应场景的规则集,默认动作为监控。建议启用全部规则集,识别更多类型 BOT,提升默认防护能力。
选择客户端类型:访问防护目标的客户端类型。仅浏览器/H5 类型支持启用前端对抗。
优先级:该场景的执行优先级,输入范围为 1~100 的整数,数字越小,优先级越高。
生效范围配置:该场景在该域名下的生效范围,支持全部范围和自定义范围。
5. 场景化管理列表中,将出现创建完成的场景卡片数据,即可进一步对其进行配置。
会话管理
用户可通过配置该功能,配置会话 Token 所在的位置,实现在同一 IP 下区分识别不同用户的访问行为,实现不影响其他用户的情况下,精准处置存在异常访问行为的用户。
1. 登录 WAF 控制台,选择 BOT 管理 > BOT 规则配置。 2. 在 BOT 规则配置页面,左上角选择需要防护的域名,单击 BOT 管理。
3. 在全局设置中,单击会话管理模块的前往配置。
4. 在会话标识配置页面,单击添加配置,配置相关参数,单击确定。
说明:
会话标识应为可持续性记录 tokenid ,例如登录后的 set-cookies 的值。
|
会话标识位置 | 指定识别特定位置(QUERY、BODY、COOKIE 或 HEADERS)的参数名作为会话标识,以该参数名对应的值作为会话 ID。 |
会话标识参数 | 取值标识,以.字符区隔各个层级的参数,示例如下: test:识别 JSON 字符串中 test 参数的值为会话 ID。 test1.test2:识别 JSON 字符串中 test1包含的 test2参数的值为会话 ID。 除了 HEADERS 以外,其余配置均需要区分字母大小写。 |
高级设置 | 支持单击展开高级设置并配置,不特殊设置的情况下默认应用于全部场景,优先级为1。 应用场景:支持选择全部场景或指定场景,对选中场景生效。 优先级:支持输入1-100的整数,数字越小优先级越高,优先匹配对应设置的会话标识。优先级相同时,更新时间越近越优先。 |
前端对抗
前端对抗的功能原理及全局配置方法请参见 防护模块。以下通过实际案例介绍如何在场景中启用前端对抗。 案例一:大量机器自动化脚本请求服务
有大量机器自动化脚本请求服务,禁止类似 CURL,SOAPUI、JMETER、POSTMAN 访问请求。
1. 登录 WAF 控制台,在左侧导航栏中,选择 BOT 管理 > BOT 规则配置。 2. 在 BOT 规则配置页面,左上角选择需要防护的域名,单击 BOT 管理。
3. 在全局设置中,单击前端对抗模块的前往配置。
5. 在场景化管理中,选择目标场景,单击右侧的查看配置。
6. 在场景详情页面,单击该场景下前端对抗模块的,防护模式选择拦截,启用该前端对抗功能。 7. 使用 CURL、SELENIUM、POSTMAN 请求结果分别如下所示:
CURL
SELENIUM
POSTMAN
案例二:禁止网页调试
禁止用户打开网页调试,避免针对性爬虫编写。
1. 登录 WAF 控制台,在左侧导航栏中,选择 BOT 管理 > BOT 规则配置。 2. 在 BOT 规则配置页面,左上角选择需要防护的域名,单击 BOT 管理。
3. 在全局设置中,单击前端对抗模块的前往配置。
5. 在场景化管理中,选择目标场景,单击右侧的查看配置。
6. 在场景详情页面,单击该场景下前端对抗模块的,防护模式选择拦截,启用该前端对抗功能。 7. 使用 Chrome 请求结果如下所示:
威胁情报
威胁情报功能依托腾讯近二十年的网络安全经验和大数据情报,将通过实时判定 IP 状态,采取打分机制,量化风险值,精准识别来自恶意动态 IP、IDC 的访问,同时智能识别恶意爬虫特征,解决来自恶意爬虫、分布式爬虫、代理、撞库、薅羊毛等风险访问。
说明:
启用威胁情报功能前,需要确认业务是否存在 IDC 侧的用户访问。如果确认业务有 IDC 流量访问,应先关闭威胁情报中的 IDC 网络识别开关,然后再启用威胁情报功能。
1. 登录 WAF 控制台,在左侧导航栏中,选择 BOT 管理 > BOT 规则配置。 2. 在 BOT 规则配置页面,左上角选择需要防护的域名,单击 BOT 管理。
3. 在全局设置中,单击智能分析模块的前往配置。
4. 在威胁情报页面,如果有 IDC 流量访问,单击 IDC 网络的一键关闭,关闭功能。
5. 如果没有 IDC 流量访问, 在场景化管理中,选择目标场景,单击右侧的查看配置。
6. 在场景详情页面,单击该场景下威胁情报模块的,直接启用威胁情报功能即可。 AI 策略
AI 策略功能基于人工智能技术和腾讯风控实战沉淀,将风控特征和黑灰产对抗经验转化为 AI 策略模型,通过访问流量进行大数据分析与 AI 建模,实现快速识别恶意访问者、深层次恶意访问者,解决来自高级持续性威胁 BOT、隐蔽性威胁 BOT 的风险访问行为。
说明:
AI 策略是根据 AI 建模自动学习,可直接启用;如果有误评估,将对相应 URL 加白即可。
开启 AI 策略
1. 登录 WAF 控制台,在左侧导航栏中,选择 BOT 管理 > BOT 规则配置。 2. 在 BOT 规则配置页面,左上角选择需要防护的域名,单击 BOT 管理。
3. 在场景化管理中,选择目标场景,单击右侧的查看配置。
4. 切换 AI 策略开关,即可启用 AI 策略。
添加白名单
背景信息
在 BOT 流量详情页面,该请求为正常请求,但是被 AI 误报。
操作步骤
1. 登录 WAF 控制台,在左侧导航栏中,选择 BOT 管理 > BOT 规则配置。 2. 在 BOT 规则配置页面,左上角选择需要防护的域名,单击 BOT 管理。
3. 在全局设置中,单击智能分析模块的前往配置。
4. 切换到 AI 策略页面,单击添加白名单,输入名称、描述和加白 URL,单击确定。
智能统计
智能统计功能基于大数据分析统计,根据用户群体的流量特征自动分类,自动识别存在异常的恶意流量,通过大数据分析,自动调整恶意流量阈值,解决来自常规 BOT、高频 BOT 的风险访问,并通过自动调整统计模型,解决大部分的 BOT 行为绕过问题。
1. 登录 WAF 控制台,在左侧导航栏中,选择 BOT 管理 > BOT 规则配置。 2. 在 BOT 规则配置页面,左上角选择需要防护的域名,单击 BOT 管理。
3. 在全局设置中,单击智能分析模块的前往配置。
4. 切换到智能统计页面,即可调整智能统计配置。
动作策略
动作策略功能通过威胁情报、AI 策略、智能统计对网站的访问请求进行综合性打分。打分范围在0~100分范围内,分数越高 BOT 的可能性越高、其访问对网站产生的危害/压力则越大。通过分数智能识别访问行为的风险程度,可配置不同动作策略和每个动作策略相应的生效范围和不同分数段的动作实现风险访问的精准拦截。
背景信息
当威胁情报,AI 策略以及智能统计标记出了大量流量,默认配置无法做到更加详细的拦截,需要自定义动作如何分析配置。
操作步骤
1. 登录 WAF 控制台,在左侧导航栏中,选择 BOT 管理 > BOT 流量分析。 2. 在 BOT 流量分析页面,左上角选择需要防护的域名,选择所需访问源,单击查看详情。
3. 在 BOT 流量详情页面的基础会话信息模块,查看城市和 IP 地区。
4. 当业务没有该地区的流量时,则表明此处评分为异常,可以自定义动作设置,进行一个更加细化的设置。
5. 在 BOT 规则配置页面,左上角选择需要防护的域名,单击 BOT 管理。
6. 在场景化管理中,选择目标场景,单击右侧的查看配置。
7. 在场景详情页面,单击该场景下动作策略模块的添加动作策略。
8. 在新建动作策略页面,配置相关参数,单击保存。
|
动作策略名称 | 描述策略的名称,不可超过 20 个字符。 |
生效开关 | 动作策略保存后的默认生效状态。 |
生效范围 | 该策略的生效范围,支持全部范围和自定义范围。 选择自定义范围时,支持最多输入 5 个条件。 多个条件之间允许设定按"与"或"或"的运算逻辑生效。 单个匹配内容中支持回车分隔多个值,最多输入 20 个值。选择逻辑符号为包含、等于、属于、前缀匹配、后缀匹配时,多个值间生效逻辑为或;逻辑符号为不包含、不等于、不属于时,多个值间生效逻辑为与。 |
优先级 | 该策略的执行优先级,输入范围为 1~100 的整数,数字越小,优先级越高。 |
动作策略模式设置 | 提供宽松模式、中等模式、严格模式、自定义模式四种处置模式。其中宽松、中等、严格为预设模式,分别对应不同危害程度 BOT 的推荐分类与处置策略;预设模式可修改,修改后即为自定义模式。 |
分数段设置 | 分数段区间总分数为 0~100 分,每个分数段共可以添加 10 条,配置的分数区间范围左闭右开,分数段不可重合,分数区间可设置为空,设置为空时,空的分数段不处置动作。 说明: BOT 分数(bot_score)是一个 0~100 的综合评估分数,由 AI 智能检测、行为统计分析、威胁情报、终端特征识别四个模块共同产出。每个模块独立打分,最终按已启用模块的得分占比折算为百分制——分数越高,该请求来自自动化程序的可能性越大。 |
动作 | 可设置为信任、监控、JS 校验、重定向(重定向至特定网站 URL)、人机识别(验证码)或拦截。 |
标签 | 可设置为友好 BOT、恶意 BOT、正常流量或疑似 BOT。 友好 BOT:默认对网站友好/合法的 BOT。 疑似 BOT:识别出该访问源流量疑似为 BOT,但无法判断其对网站是否为有害。 正常流量:识别访问流量为正常人类。 恶意 BOT:对网站产生恶意流量/访问请求不友好的 BOT。 |
合法爬虫
通过配置合法爬虫(如:搜索引擎、订阅机器人)可以正常获取网站数据,使网站可以正常被索引。
1. 登录 WAF 控制台,在左侧导航栏中,选择 BOT 管理 > BOT 规则配置。 2. 在 BOT 规则配置页面,左上角选择需要防护的域名,单击 BOT 管理。
3. 在全局设置中,单击合法爬虫模块的前往配置。
自定义规则
通过配置自定义规则功能,可精准处置符合行为配置的爬虫,精准处置对应特征的访问特征请求。
注意:
目前在创建 BOT 场景化时,已经根据场景类型内置相应场景的自定义规则集。
该内容只做使用分析参考,不能当做业务标准配置,网络爬虫分为很多种,会随业务类型而变化。
案例详情
目前通过动作得分进行拦截无法满足更精细的对抗需求,需要对异常行为特征进行设置,在 BOT 流量分析查看出大概异常后,单击详情,可查看异常数据指标,并结合实际业务情况进行对比。
例如:URL 重复性是1,会话次数100次/分钟,UA 滥用等,就需要结合业务是否有访问相同的请求或者是代理等业务,如果没有就说明有人恶意攻击。那么就可以根据以下方式查看并配置拦截策略。
分析案例
1. 登录 WAF 控制台,在左侧导航栏中,选择 BOT 管理 > BOT 流量分析。 2. 在 BOT 流量分析页面,左上角选择需要防护的域名,选择所需访问源,目前根据展示,能看到该 IP 请求速度很快,URL 单一,并且是 IDC 类。
3. 单击查看详情,通过基础会话信息可以看出,会话速度平均次数,总次数。也可以直接根据该条件进行设置。
4. 在威胁情报页面,可以根据情报数据判断该 IP 是否有正常用户使用过。
5. 在请求特征信息页面,可以查看请求详情。
策略配置
1. 登录 WAF 控制台,选择 BOT 管理 > BOT 规则配置。 2. 在 BOT 规则配置页面,左上角选择需要防护的域名,单击 BOT 管理。
3. 在场景化管理中,选择目标场景,单击右侧的查看配置。
4. 在场景详情页面,单击自定义规则模块的添加规则。
5. 在添加自定义规则窗口中,根据上述分析,将 URL 重复比设置为大于70%(过程中仅该数据超过70%),将会话速度设置为大于500次/分钟,然后单击确定。
解析验证码
当客户端类型为 App、小程序、客户端以及跨域调用时,由于无法解析识别来自 WAF 下发的验证码,导致 BOT 流量管理在下发人机识别动作时,无法正常解析及弹出人机识别验证码,用户便无法正常进行人机识别交互,在触发多次验证码后,造成正常用户的访问请求被拦截,导致业务受损。