MySQL/MariaDB/Percona 同步至 MySQL

下载

聚焦模式

字号

最后更新时间： 2024-12-25 14:56:41

操作场景
本文为您介绍使用数据传输服务 DTS 从 MySQL、MariaDB、Percona 数据库同步数据至腾讯云数据库 MySQL 的过程。
源/目标数据库支持的部署形态和版本如下：
同步链路
源数据库及版本
目标数据库及版本
MySQL > MySQL
IDC/CVM 自建 MySQL/轻量数据库 MySQL
IDC 自建/CVM 自建 MySQL/轻量数据库 MySQL
第三方云厂商 MySQL 
云数据库 MySQL 
﻿
第三方云厂商 MySQL
IDC 自建/CVM 自建 MySQL/轻量数据库 MySQL
第三方云厂商 MySQL
云数据库 MySQL
﻿
云数据库 MySQL
相同腾讯云主账号下数据库之间同步
不同腾讯云主账号下数据库之间同步
IDC 自建/CVM 自建 MySQL/轻量数据库 MySQL
第三方云厂商 MySQL
云数据库 MySQL 
MariaDB > MySQL
IDC/CVM 自建 MariaDB
IDC 自建/CVM 自建 MySQL/轻量数据库 MySQL
第三方云厂商 MySQL 
云数据库 MySQL 
﻿
云数据库 MariaDB
相同腾讯云主账号下数据库之间同步
IDC 自建/CVM 自建 MySQL/轻量数据库 MySQL
第三方云厂商 MySQL
云数据库 MySQL 
Percona > MySQL
IDC/CVM 自建 Percona
IDC 自建/CVM 自建 MySQL/轻量数据库 MySQL
第三方云厂商 MySQL 
云数据库 MySQL 
因为 MySQL、MariaDB、Percona 同步至腾讯云数据库 MySQL，三种场景的同步要求和操作步骤基本一致，本章节仅以 MySQL 到 MySQL 的数据同步为例进行介绍，其他场景请参考相关内容。
支持能力
功能大类
功能子项或说明
支持能力
同步对象
-
普通对象表、索引、视图、存储过程和函数
同步类型
-
结构同步
全量同步（全量结束后自动接续增量）
增量同步
断点续传
-
全量导出部分支持（结构导出、无主键表导出阶段不支持续传）；
全量导入、增量支持。
任务通道关键操作
重试
支持
﻿
暂停、恢复
支持
﻿
修改同步配置（动态增减表对象）
支持
﻿
创建类似任务
支持
﻿
限速
支持
同步方向
多对一（多实例合一/多表合一）
支持
﻿
一对多
支持
﻿
双向同步
支持
﻿
同实例内同步（仅支持一对一）
仅 MySQL 同步至 MySQL 支持
结构同步
库表过滤
支持
﻿
列过滤
支持
﻿
库表名映射
支持
﻿
列名映射
支持
全量同步
Where 条件过滤
支持
增量同步
主键冲突策略
冲突忽略、冲突报错、冲突覆盖
﻿
DML 同步（INSERT/UPDATE/DELETE）
支持
﻿
DML 过滤
支持
﻿
DDL 同步
DROP DATABASE、ALTER DATABASE。
CREATE TABLE、ALTER TABLE、DROP TABLE、TRUNCATE TABLE、RENAME TABLE。
CREATE VIEW、DROP VIEW。
CREATE INDEX、DROP INDEX。
﻿
DDL 过滤
支持
﻿
Where 条件过滤
支持
﻿
指定时间点同步
支持
﻿
OnlineDDL
支持
数据一致性校验
整实例校验
支持
﻿
行数校验
支持
﻿
抽样校验
支持
﻿
Where 条件过滤后支持一致性校验（独立校验）
支持
﻿
指定列支持一致性校验（独立校验）
支持
业务影响
1. DTS 在执行全量数据同步时，会将源库的全量数据全部读取一次，所以会增加源库的负载。如果您的数据库规格过低，建议您在业务低峰期进行同步任务，或者在任务启动前降低 DTS 的速率。
源库的规格不同，影响也不同，以源库规格为8核16G 为例，DTS 任务默认采用8线程并发（可调整），在网络无瓶颈的情况下，DTS 任务对源库的性能影响如下：
DTS 全量导出阶段：占用源库约18%-45%的 CPU，增加源库约40-60MB/s 的查询压力，占用约8个活跃 session 连接数。
DTS 增量导出阶段：对源数据库基本无压力，只有一个连接实时监听源库的 binlog 日志。 
2. 默认采用无锁方式，同步过程中对源库不加全局锁（FTWRL），仅对无主键的表加表锁，其他不加锁。 
3. 数据同步时，DTS 会使用执行同步任务的账号在源库中写入系统库__tencentdb__，用于记录同步任务过程中的数据对比信息，请勿删除该系统库。
为保证后续数据对比问题可定位，同步任务结束后不会删除源库中的__tencentdb__。
__tencentdb__系统库占用空间非常小，约为源库存储空间的千分之一到万分之一（例如源库为50GB，则__tencentdb__系统库约为5MB-50MB） ，并且采用单线程，等待连接机制，所以对源库的性能几乎无影响，也不会抢占资源。
准备工作
1. 请根据您需要使用的接入类型，提前打通 DTS 与数据库之间的访问通道，具体请参考 网络准备工作。
IDC 自建数据库/其他云厂商数据库：接入方式可选择“公网/专线接入/VPN 接入/云联网”。
CVM 上的自建数据库：接入方式选择“云服务器自建”。
腾讯云数据库实例：接入方式选择“云数据库”。
轻量应用服务器上的 轻量数据库：接入方式选择“公网”。
2. 在源数据库中对执行任务账号进行授权，参考如下。
GRANT RELOAD,LOCK TABLES,REPLICATION CLIENT,REPLICATION SLAVE,SHOW DATABASES,SHOW VIEW,PROCESS,SELECT ON *.* TO '账号'@'%' IDENTIFIED BY '密码';
//源库为阿里云数据库时，不需要授权 SHOW DATABASES，但需要创建至少一个非系统库，否则前置校验任务会失败。其他非阿里云数据库场景则需要授权。阿里云数据库授权，请参考 https://help.aliyun.com/document_detail/96101.html
GRANT ALL PRIVILEGES ON `__tencentdb__`.* TO '账号'@'%'; 
FLUSH PRIVILEGES;
﻿
﻿
#（1）创建执行任务账号
CREATE USER '账号'@'%' IDENTIFIED BY '密码';  
#（2）授予权限
GRANT RELOAD,LOCK TABLES,REPLICATION CLIENT,REPLICATION SLAVE,SHOW VIEW,PROCESS ON *.* TO '账号'@'%';  
GRANT ALL PRIVILEGES ON `__tencentdb__`.* TO '账号'@'%'; 
#（3）授权 SELECT 权限
#（3.1）选择整个实例同步时授权所有对象
GRANT SELECT ON *.* TO '账号';
#（3.2）选择指定对象同步时仅授权对应对象
GRANT SELECT ON `mysql`.* TO '账号'@'%';
GRANT SELECT ON 待迁移的库.* TO '账号';
#（4）刷新权限
FLUSH PRIVILEGES;
3. 在目标库中对执行任务账号进行授权，需要具备的权限如下。
ALTER, ALTER ROUTINE, CREATE, CREATE ROUTINE, CREATE TEMPORARY TABLES, CREATE USER, CREATE VIEW, DELETE, DROP, EVENT, EXECUTE, INDEX, INSERT, LOCK TABLES, PROCESS, REFERENCES, RELOAD, SELECT, SHOW DATABASES, SHOW VIEW, TRIGGER, UPDATE。
使用说明
同步对象
1. 支持不同实例间的同步和同实例内的同步。
2. 只支持同步基础表、视图、存储过程和函数。 
3. 相互关联的数据对象需要一起同步，否则会导致同步失败。常见的关联关系：视图引用表、视图引用视图、主外键关联表等。
4. 为了避免数据重复，建议同步有主键或者非空唯一键的表。
5. 不支持选择源端整个实例进行同步，如果在后续同步任务中，源端有新建库的操作（CREATE DATABASE），建议在同步任务启动前，自行在目标端创建好该库对象，或者在同步任务启动后，通过修改同步配置操作来追加新增的库对象。
6. 如果在同步任务过程中，源端有 CREATE TABLE，RENAME TABLE 操作，请在配置阶段选择同步对象时，勾选该表所在的整库，否则新建的表，或者 RENAME 后的表不会同步到目标端。
7. 在同步视图、存储过程和函数时，DTS 会检查源库中 DEFINER 对应的 user1（ [DEFINER = user1]）和同步账号 user2 是否一致，如果不一致，同步后 DTS 会修改 user1 在目标库中的 SQL SECURITY 属性，由 DEFINER 转换为 INVOKER（ [INVOKER = user1]），同时设置目标库中 DEFINER 为同步账号 user2（[DEFINER = 同步账号 user2]）。如果源库中视图定义过于复杂，可能会导致任务失败。
8. 源数据库为阿里云 MySQL，则阿里云 MySQL 5.6 版本待同步表不能存在无主键表，MySQL 5.7 及以后版本不限制。源数据库为 AWS MySQL，则 AWS MySQL 待同步表不能存在无主键表。
9. 只支持同步 InnoDB、TokuDB、RocksDB 三种数据库引擎，如果存在这三种以外的数据引擎表则默认跳过不进行同步。其中，源库如果存在压缩模式的 TokuDB 引擎数据，需要目标库同步支持压缩模式才可以同步，否则任务会报错。
10. 目标端为腾讯云 MySQL 数据库实例且为 RocksDB 引擎时，支持源端 InnoDB/TokuDB 引擎转化为目标 RocksDB 引擎，但在 InnoDB 转化为 RocksDB 引擎时存在以下约束。
10.1 如果源库待迁移表的主键或主键的一部分为 TINYTEXT、TEXT、MEDIUMTEXT 和 LONGTEXT 字段类型，因为目标端上这些字段类型不支持“值判等”，所以相关“值判等”的 SQL （例如 DELETE FROM table_name WHERE primary_key_column = 'some text'）同步到目标端后无法生效，最终可能会导致目标端与源端的数据结果不一致。
10.2 进行数据一致性校验时，如果源库待迁移表的主键或主键的一部分为 TINYTEXT、TEXT、MEDIUMTEXT 和 LONGTEXT 字段类型，并且表的行数超过5万行，则该表会被跳过，不进行一致性校验。
10.3 因 RocksDB 引擎和 InnoDB 引擎对于 DOUBLE 数据类型在底层存储有差别，当源端 DOUBLE 数值接近上限（例如 -1.7976931348623157E+308），可能在创建一致性校验任务时出现误报，实际数据是一致的，但是校验结果显示不一致。
10.4 不支持迁移涉及分区（partition）的表。
11. 在同步过程中，CREATE TABLE ... AS SELECT语句中的CREATE操作会生成独立的新 GTID 事务。
数据类型
1. 增量同步过程中，若源库产生了类型为 STATEMENT 格式的 Binlog 语句，则会导致同步失败。
2. 源数据库 Binlog 的 GTID 如果存在空洞，可能会影响同步任务的性能并导致任务失败。
3. 不支持同时包含 DML 和 DDL 语句在一个事务的场景，遇到该情况任务会报错。
4. 不支持 ALTER VIEW 语句，遇到该语句任务跳过不同步。
5. MySQL、TDSQL-C MySQL 相互之间的同步链路对于 JSON 数据类型的特殊说明。
5.1 对于有精度要求的数据，建议统一使用 decimal 等数据类型单独记录，不建议使用 JSON 数据类型。因为 MySQL 本身对于 JSON 内的 float 数据处理问题，小数点后大于等于6位的数据精度会丢失。
5.2 DTS 对于 JSON 类型的浮点数处理说明。
5.2.1 MySQL5.7 及以前版本作为目标端，由于 MySQL5.7 本身的处理问题，可能会出现源端 JSON 类型中的浮点数为 x.0，同步到目标端变成 x。例如：源端数据为 {"a":12.0}，同步到目标会变为 {"a":12}。
5.2.2 MySQL5.7及以前的版本作为源端，MySQL8.0及其后续版本作为目标端，由于 MySQL5.7 本身的处理问题，可能会出现源端 JSON 类型中的浮点数 x.0，但是通过 SELECT 读取到的为 x，同时 binlog 中仍然记录这个值的类型为浮点型，DTS 同步到目标端会按照浮点数来处理，因此到目标端会变成 x.0。例如：源端数据为 {"a":12.0}，SELECT 读取到的为 {"a":12}，同步到目标会变为 {"a":12.0}。
5.2.3 不区分版本，源端 JSON 类型浮点数的小数点后大于1位的，如{"a":12.00}，{"a":12.000}，同步到目标端都会变为{"a":12.0}。
HA 切换
源端如果是非 GTID 实例，DTS 不支持源端 HA 切换，一旦源端 MySQL 发生切换可能会导致 DTS 增量同步中断。
主键冲突策略
主键冲突策略选择“冲突报错”时，在任务的全量同步阶段，请不要在目标端进行双写，否则发生的主键冲突问题，DTS 不会提示报错，会用源端的数据覆盖掉目标端。
操作限制
同步过程中请勿进行如下操作，否则会导致同步任务失败。
1. 选择结构初始化和全量数据初始化场景中，当同步任务步骤为“全量导出”、“全量导入”时，不支持 DDL 操作。
2. 请勿修改、删除源数据库和目标数据库中用户信息（包括用户名、密码和权限）和端口号。
3. 请勿在源库上执行清除 Binlog 的操作。
同实例内同步使用限制
同实例同步，属于更为复杂的同步场景，所以建议在同一数据库实例上，仅创建一个同实例同步任务，或确保多个任务的同步对象无重合，以避免数据同步出现预期外的结果。
对于同实例同步场景的使用限制，包括但不限于以下限制：
1. 重命名要求
同实例内同步库表，必须要重命名库表名称以避免 Binlog 循环，防止 DTS 任务失败或数据异常。因此，整库同步时，库名必须更改；单表同步可仅重命名表；不支持整实例同步（不满足重命名要求）。
对于同实例内的单表同步时，需禁止对该库进行操作。例如将 db1.t1同步到 db1.t2，在源库中，禁止对该库（db1）执行 CREATE/DROP/ALTER DATABASE 操作，以免引发 DDL 循环，导致 DTS 任务失败。
2. 同实例内同步，不支持级联与双向同步
不支持同实例内创建多条级联或双向同步任务，如多条级联（例如，在同一个数据库实例上配置两个任务，其中任务1将 table a 同步为 table b，任务2将 table b 同步为 table c，期望达成 table a 到 table b 到 table c 的级联）或双向同步（例如，在同一个数据库实例上配置两个任务，其中任务1将 table a 同步为 table b，任务2将 table b 同步为 table a，期望达成 table a 和 table b 的双向同步）。
不支持在同实例同步任务内部构建级联，如将 table a 同步为 table b ， table b 同步为 table c，期望在任务内形成了 table a 到 table b 再到 table c 的级联。
3. 同实例内同步，不支持复杂拓扑
同实例同步和上下游其他 DTS 任务组成更复杂的拓扑时，数据流动情况变得更为复杂，可能无法保证数据符合预期中的结果，不建议用户这样使用。
一致性校验
如果同步任务在增量校验过程中，进行了修改同步配置的变更，则会导致增量校验失败，需要重新发起校验任务。
支持同步的 SQL 操作
操作类型
SQL 操作语句
DML
INSERT、UPDATE、DELETE
DDL
DROP DATABASE、ALTER DATABASE、CREATE TABLE、ALTER TABLE、DROP TABLE、TRUNCATE TABLE、RENAME TABLE、CREATE VIEW、DROP VIEW、CREATE INDEX、DROP INDEX
说明：
数据同步功能当前暂不支持选择整个实例级的同步，所以不支持 CREATE DATABASE 语句。
操作步骤
1. 登录 DTS 控制台，在左侧导航选择数据同步，单击新建同步任务，进入新建同步任务页面。
2. 在新建同步任务页面，选择迁移的源实例类型和所属地域，目标实例类型和所属地域，规格等，然后单击立即购买。
参数
描述
创建模式
新建任务：新建一个全新的任务。
创建类似任务：快速创建一个和历史任务相同配置的任务，新的任务中数据库类型、计费模式等默认填充的选项都和历史任务保持一致，用户如果需要也可根据情况进行修改。
计费模式
支持包年包月和按量计费。
源实例类型
选择 MySQL，购买后不可修改。
源实例地域
选择源实例所在地域，购买后不可修改。
目标实例类型
选择 MySQL，购买后不可修改。
目标实例地域
选择目的实例所在地域，购买后不可修改。
规格
请根据业务诉求选择规格，规格越高，性能越好。详情请参考 计费概述。
标签
给同步任务设置标签键与标签值，便于通过标签高效管理多个任务。
任务名
选择创建后命名，默认任务名称与任务 ID 一致。在同步任务创建完成之后，可重新设置任务名称。
选择立即命名，在下面输入框，输入任务名称。
协议条款
请务必勾选 我已阅读并同意 《云数据库服务条款》。
3. 购买完成后，返回 数据同步列表，可看到刚创建的数据同步任务，刚创建的同步任务需要进行配置后才可以使用。
4. 在数据同步列表，单击操作列的配置，进入配置同步任务页面。
﻿
5. 在设置同步源和目标数据库页面，填写源和目标数据库等信息，然后单击测试连通性，测试连通性后，单击下一步。
说明：
同步任务支持同实例内同步，配置任务时请将源端实例与目标端实例配置为同一个实例。
﻿
﻿
﻿
任务设置
参数
描述
任务名称
DTS 会自动生成一个任务名称，建议用户修改为一个具有业务意义的名称，便于任务识别。
运行模式
立即执行：前置校验通过后会立即启动任务。
定时执行：设置一个任务开始执行的时间，前置校验通过后不启动任务，到设定的时间再启动。
自动重试
设置后，同步任务因网络异常等引起的任务临时中断，DTS 将在设置的时间范围内自动重试和恢复任务，不需要用户手动操作。
支持设置的时间范围为5分钟-720分钟。
源库设置
参数
描述
源实例类型
购买时所选择的源实例类型，不可修改。
源实例地域
购买时选择的源实例所在地域，不可修改。
服务提供商
自建数据库（包括云服务器上的自建）、腾讯云数据库实例、轻量数据库，请选择“普通”。
第三方云厂商数据库，请选择对应的服务商。
接入类型
请根据源库的部署情况选择，不同的部署场景需要打通的网络操作不同，具体请参考 网络准备工作概述。
源库为 IDC 自建数据库/其他云厂商数据库：接入类型可选择“公网/专线接入/VPN 接入/云联网”。
公网：源数据库可以通过公网 IP 访问。
专线接入：源数据库可以通过 专线接入 方式与腾讯云私有网络打通。
VPN 接入：源数据库可以通过 VPN 连接 方式与腾讯云私有网络打通。
云联网：源数据库可以通过 云联网 与腾讯云私有网络打通。
私有网络 VPC：源数据库和目标数据库都部署在腾讯云上，且有 私有网络。如果需要使用私有网络 VPC 接入类型，请 提交工单 申请。
源库为 CVM 上的自建数据库：接入类型选择“云服务器自建”。
源库为腾讯云数据库实例：接入类型选择“云数据库”。
源库为轻量应用服务器上的轻量数据库：接入类型选择“公网”。
公网
接入类型选择“公网”时，需要配置如下参数。
主机地址：源数据库 IP 地址或域名。
端口：源数据库使用的端口。
云服务器自建
接入类型选择“云服务器自建”时，需要配置如下参数。
云服务器实例：云服务器 CVM 的实例 ID。
端口：源数据库使用的端口。
专线接入
接入类型选择“专线接入”时，需要配置如下参数。
私有网络专线网关：专线接入时只支持私有网络专线网关，请确认网关关联的网络类型。
私有网络：选择私有网络和子网。
主机地址：源数据库 IP 地址或域名。
端口：源数据库使用的端口。
VPN 接入
接入类型选择“VPN 接入”时，需要配置如下参数。
VPN 网关：请选择 VPN 网关 ID。
私有网络：选择 VPN 网关关联的私有网络和子网。
主机地址：源数据库 IP 地址或域名。
端口：源数据库使用的端口。
云数据库
接入类型选择“云数据库”时，需要配置如下参数。
是否跨账号
本账号：源数据库实例和目标数据库实例所属的主账号为同一个腾讯云主账号。
跨账号：源数据库实例和目标数据库实例所属的主账号为不同的腾讯云主账号。跨账号操作指导请参见 云数据库跨账号实例间迁移。
云数据库实例：源数据库的实例 ID。
验证方式：选择访问数据库的身份验证方式，取值如下：
密码：使用数据库账号和密码进行身份验证。
CAM 验证：使用腾讯云访问管理（CAM）进行身份验证，无需输入数据库密码。
云联网
接入类型选择“云联网”时，需要配置如下参数。
云联网接入时，支持同账号云联网和跨账号云联网，因网络打通配置较多，请参考 通过云联网方式迁移自建数据库至腾讯云数据库。
主机所在网络环境：请根据实际情况选择。例如源库为腾讯云数据库实例，选择“腾讯云”；源库为 IDC 自建数据库，选择“自建 IDC”；源库为其他云厂商数据库，则选择对应的网络。
主机地址：源数据库的主机 IP 地址或域名。
端口：源数据库使用的端口。
云联网实例所属账号
我的账号：云联网资源和目标数据库归属同一个腾讯云主账号。
其他账号：云联网资源和目标数据库归属不同的腾讯云主账号。
私有网络云联网：云联网实例名称。
云联网关联 VPC 及子网：“云联网关联 VPC”指云联网中接入同步链路的 VPC。请在云联网关联的所有 VPC 中，选择除了源数据库所属 VPC 外的其他 VPC。
VPC 所属地域：购买任务时选择的源数据库地域与接入 VPC 地域需要保持一致，如果不一致，DTS 会将购买任务中选择的源数据库地域，改为接入 VPC 地域。
私有网络 VPC
接入类型选择“私有网络 VPC”时，需要配置如下参数。
私有网络：选择 VPC 网络和子网。
主机地址：源数据库 IP 地址或域名。
端口：源数据库使用的端口。
账号/密码
账号/密码：源数据库的账号、密码。
连接方式
SSL 安全连接指 DTS 与数据库通过 SSL（Secure socket layer）安全连接，对传输链路进行加密。
选择 SSL 安全连接可能会增加数据库的连接响应时间，一般腾讯云内网链路相对较安全，无需开启 SSL 安全连接，采用公网/专线等传输方式，并且对数据安全要求较高的场景，需要开启 SSL 安全连接。选择 SSL 安全连接前，需要先在数据库中开启 SSL 加密。
目标库设置
目标库参数设置与源库类似，接入类型根据实际的情况选择，此处不再赘述。
6. 在设置同步选项和同步对象页面，将对数据初始化选项、数据同步选项、同步对象选项进行设置，在设置完成后单击保存并下一步。
说明：
当初始化类型仅选择全量数据初始化，系统默认用户在目标库已经创建了表结构，不会进行表结构同步，也不会校验源库和目标库是否有同名表，所以当用户同时在已存在同名表中选择前置校验并报错，则校验并报错功能不生效。
如果用户在同步过程中确定会对某张表使用 rename 操作（例如将 table A rename 为 table B），则同步对象需要选择 table A 所在的整个库（或者整个实例），不能仅选择 table A，否则 rename 操作后，table B 的数据不会同步到目标库。
﻿
设置项
参数
描述
数据初始化选项
初始化类型
结构初始化：同步任务执行时会先将源实例中表结构初始化到目标实例中。
全量数据初始化：同步任务执行时会先将源实例中数据初始化到目标实例中。仅选择全量数据初始化的场景，用户需要提前在目标库创建好表结构。
默认两者都勾上，可根据实际情况取消。
﻿
已存在同名表
前置校验并报错：存在同名表则报错，流程不再继续。
忽略并继续执行：全量数据和增量数据直接追加到目标实例的表中。
数据同步选项
主键冲突处理
冲突报错：在同步时发现表主键冲突，报错并暂停数据同步任务。
冲突忽略：在同步时发现表主键冲突，保留目标库主键记录。
冲突覆盖：在同步时发现表主键冲突，用源库主键记录覆盖目标库主键记录。
同步对象选项
同步对象
整个实例：同步整个实例。
指定对象：同步指定对象。
﻿
高级迁移对象
选择待同步的对象，支持基础库表、视图、存储过程和函数。高级对象的同步是一次性动作，仅支持同步在任务启动前源库中已有的高级对象，在任务启动后，新增的高级对象不会同步到目标库中。更多详情，请参考 同步高级对象。
﻿
已选对象
支持库表映射（库表重命名），将鼠标悬浮在库名、表名上即显示编辑按钮，单击后可在弹窗中填写新的名称。
选择高级对象进行同步时，建议不要进行库表重命名操作，否则可能会导致高级对象同步失败。
﻿
是否同步 Online DDL 临时表
如果使用 gh-ost、pt-osc 工具对源库中的表执行 Online DDL 操作，DTS 支持将 Online DDL 变更产生的临时表同步到目标库。
勾选 gh-ost，DTS 会将 gh-ost 工具产生的临时表名（`_表名_ghc`、`_表名_gho`、`_表名_del`）同步到目标库。
勾选 pt-osc， DTS 会将 pt-osc 工具产生的临时表名（`_表名_new`、 `_表名_old`）同步到目标库。
更多详情请参考 同步 Online DDL 临时表。
高级选项
﻿
参数
描述
限制传输速率
一般情况下任务配置这里不需要勾选，仅在数据库的配置较低，无法负载 DTS 默认并发线程数和 RPS 时，需要配置。详情请参考 限速。
7. 在数据加工页面，支持对已选同步对象设置增量数据过滤及操作规则，包括 DDL & DML 配置和 Where 条件过滤，在设置完成后单击保存并下一步。
7.1 DDL&DML 配置
通过 DDL & DML 配置功能，您可以为整实例、整库或单表分别设置增量 DML 操作（INSERT、UPDATE、DELETE）和增量 DDL 操作的同步规则，实现精细化的对象级别数据同步控制。
说明：
DDL & DML 配置规则中，仅对已选对象生效，子节点优先级高于父节点配置规则，优先级为：单表 > 整库 > 实例级。例如：同步对象中，整库选中 db1，在整库级别，设置同步全部 DML，但是 db1 内的 tb1，在单表级别，设置取消同步 delete 操作。则 db1.tb1 取消同步 delete 操作，db1 内其他对象同步全部 DML。
﻿
7.1.1 在数据加工页面，选择 DDL & DML 页签。
7.1.2 选择对象并配置规则
7.1.2.1 在已选对象区域选择需要配置的对象，单击右侧的编辑。
说明：
整实例/整库同步时，支持展开源端实例或库表对象，单独对某个对象进行配置。
7.1.2.2 在弹出的对话框中配置增量 DML 和增量 DDL 同步规则，参数说明如下：
﻿
增量 DML 配置
DML 操作
说明
INSERT
同步源端的 INSERT 操作到目标端。
UPDATE
同步源端的 UPDATE 操作到目标端。
DELETE
同步源端的 DELETE 操作到目标端。
增量 DDL 配置
按数据库对象类型分组，可选择需要同步的 DDL 操作：
对象类型
支持的 DDL 操作
DATABASE
CREATE、DROP、ALTER
TABLE
CREATE、DROP、ALTER、TRUNCATE、RENAME
VIEW
CREATE、DROP
INDEX
CREATE、DROP
7.1.2.3 配置完成后，单击保存。已配置的对象右侧会显示已编辑。
7.1.2.4 如需恢复默认配置，单击对象右侧的重置。
说明：
重置后将清空该对象的 DDL & DML 配置，采用整库/整实例的配置信息，该操作不可撤销。
7.1.3 确认配置及规则。
配置完成后，可在页面下方确认当前所有对象的 DDL & DML 配置信息以及规则，可以通过左侧下拉框按照对象层级过滤查看。
如需删除某条配置规则，单击对应规则操作列的删除。
7.2 Where 条件过滤
Where 条件过滤功能允许对单个表或批量对多个表设置过滤条件，只有满足设置规则的数据才会同步到目标数据库，这样用户可以灵活进行数据拆分。
说明：
同步对象勾选整库/整表的情况下，不支持批量设置 where 条件过滤。
7.2.1 在数据加工页面，选择 Where 条件过滤页签，勾选开启 where 条件过滤。
7.2.2 选择对象：从前一步骤选择的同步对象范围中，再勾选需要设置 where 条件的对象范围。
﻿
7.2.3 设置过滤条件并确认。
UTC 时区选择：指定 TIMESTAMP 类型字段比较值的时区，建议和数据库时区保持一致。
UPDATE 数据条件：可选择更新前、后数据均满足、更新前满足、更新后满足。
条件表达式：输入 where 条件表达式。设置 where 条件后点击检查条件检测输入内容的合法性，然后单击生成过滤规则。
﻿
8. 在设置一致性校验页面，勾选开启数据一致性校验（默认开启），配置参数后，单击下一步。
配置项
参数
描述
校验选项
校验内容
全量校验：针对校验任务发起时源和目标库中的全部数据进行比较。
﻿
校验基准
两端：使用源端和目标端的数据作为校验基准。
校验参数配置
线程数选择
设置范围为1~8，请根据实际情况选择，提高线程数可加快一致性校验速度，但也会增加源和目标库的负载。
﻿
复检次数
设置复检次数。
如果在第一次全量数据校验结果为不一致时，后台会对全量校验的不一致数据，发起校验。
﻿
复检时间间隔
设置复检时间间隔。
校验对象选项
校验对象
全部同步对象：校验范围为同步任务勾选的全部对象。
自定义选择：在勾选的同步对象中，选择进行校验的对象。
9. 在校验任务页面，完成校验并全部校验项通过后，单击立即启动。
 如果校验任务不通过，可以参考 校验不通过处理方法 修复问题后重新发起校验任务。
失败：表示校验项检查未通过，任务阻断，需要修复问题后重新执行校验任务。
警告：表示校验项检查不完全符合要求，可以继续任务，但对业务有一定的影响，用户需要根据提示自行评估是忽略警告项还是修复问题再继续。
﻿
在弹出的对话框中，单击确定。
10. 返回数据同步任务列表，任务开始进入运行中状态。
说明：
选择操作列的更多 > 结束可关闭同步任务，请您确保数据同步完成后再关闭任务。
﻿
11. （可选）您可以单击任务名，进入任务详情页，查看任务初始化状态和监控数据。
﻿

帮助和支持

本页内容是否解决了您的问题？

您也可以联系销售或提交工单以寻求帮助。

填写满意度调查问卷，共创更好文档体验。

文档反馈

同步链路	源数据库及版本	目标数据库及版本
MySQL > MySQL	IDC/CVM 自建 MySQL/轻量数据库 MySQL	IDC 自建/CVM 自建 MySQL/轻量数据库 MySQL 第三方云厂商 MySQL 云数据库 MySQL
		第三方云厂商 MySQL	IDC 自建/CVM 自建 MySQL/轻量数据库 MySQL 第三方云厂商 MySQL 云数据库 MySQL
		云数据库 MySQL 相同腾讯云主账号下数据库之间同步不同腾讯云主账号下数据库之间同步	IDC 自建/CVM 自建 MySQL/轻量数据库 MySQL 第三方云厂商 MySQL 云数据库 MySQL
MariaDB > MySQL	IDC/CVM 自建 MariaDB	IDC 自建/CVM 自建 MySQL/轻量数据库 MySQL 第三方云厂商 MySQL 云数据库 MySQL
MariaDB > MySQL		云数据库 MariaDB 相同腾讯云主账号下数据库之间同步	IDC 自建/CVM 自建 MySQL/轻量数据库 MySQL 第三方云厂商 MySQL 云数据库 MySQL
Percona > MySQL	IDC/CVM 自建 Percona	IDC 自建/CVM 自建 MySQL/轻量数据库 MySQL 第三方云厂商 MySQL 云数据库 MySQL

功能大类	功能子项或说明	支持能力
同步对象	-	普通对象表、索引、视图、存储过程和函数
同步类型	-	结构同步全量同步（全量结束后自动接续增量）增量同步
断点续传	-	全量导出部分支持（结构导出、无主键表导出阶段不支持续传）；全量导入、增量支持。
任务通道关键操作	重试	支持
		暂停、恢复	支持
		修改同步配置（动态增减表对象）	支持
		创建类似任务	支持
		限速	支持
同步方向	多对一（多实例合一/多表合一）	支持
		一对多	支持
		双向同步	支持
		同实例内同步（仅支持一对一）	仅 MySQL 同步至 MySQL 支持
结构同步	库表过滤	支持
		列过滤	支持
		库表名映射	支持
		列名映射	支持
全量同步	Where 条件过滤	支持
增量同步	主键冲突策略	冲突忽略、冲突报错、冲突覆盖
		DML 同步（INSERT/UPDATE/DELETE）	支持
		DML 过滤	支持
		DDL 同步	DROP DATABASE、ALTER DATABASE。 CREATE TABLE、ALTER TABLE、DROP TABLE、TRUNCATE TABLE、RENAME TABLE。 CREATE VIEW、DROP VIEW。 CREATE INDEX、DROP INDEX。
		DDL 过滤	支持
		Where 条件过滤	支持
		指定时间点同步	支持
		OnlineDDL	支持
数据一致性校验	整实例校验	支持
		行数校验	支持
		抽样校验	支持
		Where 条件过滤后支持一致性校验（独立校验）	支持
		指定列支持一致性校验（独立校验）	支持

操作类型	SQL 操作语句
DML	INSERT、UPDATE、DELETE
DDL	DROP DATABASE、ALTER DATABASE、CREATE TABLE、ALTER TABLE、DROP TABLE、TRUNCATE TABLE、RENAME TABLE、CREATE VIEW、DROP VIEW、CREATE INDEX、DROP INDEX

参数	描述
创建模式	新建任务：新建一个全新的任务。创建类似任务：快速创建一个和历史任务相同配置的任务，新的任务中数据库类型、计费模式等默认填充的选项都和历史任务保持一致，用户如果需要也可根据情况进行修改。
计费模式	支持包年包月和按量计费。
源实例类型	选择 MySQL，购买后不可修改。
源实例地域	选择源实例所在地域，购买后不可修改。
目标实例类型	选择 MySQL，购买后不可修改。
目标实例地域	选择目的实例所在地域，购买后不可修改。
规格	请根据业务诉求选择规格，规格越高，性能越好。详情请参考计费概述。
标签	给同步任务设置标签键与标签值，便于通过标签高效管理多个任务。
任务名	选择创建后命名，默认任务名称与任务 ID 一致。在同步任务创建完成之后，可重新设置任务名称。选择立即命名，在下面输入框，输入任务名称。
协议条款	请务必勾选我已阅读并同意《云数据库服务条款》。

参数	描述
任务名称	DTS 会自动生成一个任务名称，建议用户修改为一个具有业务意义的名称，便于任务识别。
运行模式	立即执行：前置校验通过后会立即启动任务。定时执行：设置一个任务开始执行的时间，前置校验通过后不启动任务，到设定的时间再启动。
自动重试	设置后，同步任务因网络异常等引起的任务临时中断，DTS 将在设置的时间范围内自动重试和恢复任务，不需要用户手动操作。支持设置的时间范围为5分钟-720分钟。

设置项	参数	描述
数据初始化选项	初始化类型	结构初始化：同步任务执行时会先将源实例中表结构初始化到目标实例中。全量数据初始化：同步任务执行时会先将源实例中数据初始化到目标实例中。仅选择全量数据初始化的场景，用户需要提前在目标库创建好表结构。默认两者都勾上，可根据实际情况取消。
数据初始化选项		已存在同名表	前置校验并报错：存在同名表则报错，流程不再继续。忽略并继续执行：全量数据和增量数据直接追加到目标实例的表中。
数据同步选项	主键冲突处理	冲突报错：在同步时发现表主键冲突，报错并暂停数据同步任务。冲突忽略：在同步时发现表主键冲突，保留目标库主键记录。冲突覆盖：在同步时发现表主键冲突，用源库主键记录覆盖目标库主键记录。
同步对象选项	同步对象	整个实例：同步整个实例。指定对象：同步指定对象。
		高级迁移对象	选择待同步的对象，支持基础库表、视图、存储过程和函数。高级对象的同步是一次性动作，仅支持同步在任务启动前源库中已有的高级对象，在任务启动后，新增的高级对象不会同步到目标库中。更多详情，请参考同步高级对象。
		已选对象	支持库表映射（库表重命名），将鼠标悬浮在库名、表名上即显示编辑按钮，单击后可在弹窗中填写新的名称。选择高级对象进行同步时，建议不要进行库表重命名操作，否则可能会导致高级对象同步失败。
		是否同步 Online DDL 临时表	如果使用 gh-ost、pt-osc 工具对源库中的表执行 Online DDL 操作，DTS 支持将 Online DDL 变更产生的临时表同步到目标库。勾选 gh-ost，DTS 会将 gh-ost 工具产生的临时表名（`_表名_ghc`、`_表名_gho`、`_表名_del`）同步到目标库。勾选 pt-osc， DTS 会将 pt-osc 工具产生的临时表名（`_表名_new`、 `_表名_old`）同步到目标库。更多详情请参考同步 Online DDL 临时表。

参数	描述
限制传输速率	一般情况下任务配置这里不需要勾选，仅在数据库的配置较低，无法负载 DTS 默认并发线程数和 RPS 时，需要配置。详情请参考限速。

DML 操作	说明
INSERT	同步源端的 INSERT 操作到目标端。
UPDATE	同步源端的 UPDATE 操作到目标端。
DELETE	同步源端的 DELETE 操作到目标端。

对象类型	支持的 DDL 操作
DATABASE	CREATE、DROP、ALTER
TABLE	CREATE、DROP、ALTER、TRUNCATE、RENAME
VIEW	CREATE、DROP
INDEX	CREATE、DROP

配置项	参数	描述
校验选项	校验内容	全量校验：针对校验任务发起时源和目标库中的全部数据进行比较。
校验选项		校验基准	两端：使用源端和目标端的数据作为校验基准。
校验参数配置	线程数选择	设置范围为1~8，请根据实际情况选择，提高线程数可加快一致性校验速度，但也会增加源和目标库的负载。
		复检次数	设置复检次数。如果在第一次全量数据校验结果为不一致时，后台会对全量校验的不一致数据，发起校验。
		复检时间间隔	设置复检时间间隔。
校验对象选项	校验对象	全部同步对象：校验范围为同步任务勾选的全部对象。自定义选择：在勾选的同步对象中，选择进行校验的对象。

tencent cloud

数据传输服务

MySQL/MariaDB/Percona 同步至 MySQL

操作场景

支持能力

业务影响

准备工作

使用说明

同步对象

数据类型

HA 切换

主键冲突策略

操作限制

同实例内同步使用限制

一致性校验

支持同步的 SQL 操作

操作步骤

帮助和支持