tencent cloud

数据传输服务

数据结构

Download
聚焦模式
字号
最后更新时间: 2026-06-24 16:11:31

AdvancedObjectsItem

数据库不一致的详情,mongodb业务用到

被如下接口引用:DescribeCompareReport。

名称 类型 描述
ObjectType String 对象类型,可能得值有:account,index,shardkey,schema
SrcChunk String 源端分块
DstChunk String 目标端分块
SrcItem String 源端值
DstItem String 目标端值

CheckStep

检查步骤

被如下接口引用:DescribeMigrationCheckJob。

名称 类型 描述
StepNo Integer 步骤编号
StepId String 步骤Id, 如:ConnectDBCheck、VersionCheck、SrcPrivilegeCheck等,具体校验项和源目标实例相关
StepName String 步骤名称
StepStatus String 此检查步骤的结果,pass(校验通过)、failed(校验失败)、notStarted(校验还未开始进行)、blocked(检验阻塞)、warning(校验有告警,但仍通过)
StepMessage String 此检查步骤的错误消息
DetailCheckItems Array of DetailCheckItem 每个检查步骤里的具体检查项
HasSkipped Boolean 是否已跳过

CheckStepInfo

校验任务运行详情

被如下接口引用:DescribeMigrationDetail。

名称 类型 描述
StartAt String 任务开始时间
EndAt String 任务结束时间
Progress ProcessProgress 任务步骤信息

Column

数据同步中的列信息

被如下接口引用:ConfigureSyncJob, DescribeSyncJobs, ModifySyncJobConfig。

名称 类型 必选 描述
ColumnName String 列名
NewColumnName String 新列名

CompareAbstractInfo

一致性校验摘要信息

被如下接口引用:DescribeCompareReport。

名称 类型 描述
Options CompareOptions 校验配置参数
Objects CompareObject 一致性校验对比对象
Conclusion String 对比结论: same,different
Status String 任务状态: success,failed
TotalTables Integer 总的表数量
CheckedTables Integer 已校验的表数量
DifferentTables Integer 不一致的表数量
SkippedTables Integer 跳过校验的表数量
NearlyTableCount Integer 预估表总数
DifferentRows Integer 不一致的数据行数量
SrcSampleRows Integer 源库行数,当对比类型为行数对比时此项有意义
DstSampleRows Integer 目标库行数,当对比类型为行数对比时此项有意义
StartedAt String 开始时间
FinishedAt String 结束时间

CompareColumnItem

列选项

被如下接口引用:CreateCompareTask, DescribeCompareReport, ModifyCompareTask。

名称 类型 必选 描述
ColumnName String 列名

CompareDetailInfo

一致性校验详细信息

被如下接口引用:DescribeCompareReport。

名称 类型 描述
Difference DifferenceDetail 数据不一致的表详情
Skipped SkippedDetail 跳过校验的表详情
DifferenceAdvancedObjects DifferenceAdvancedObjectsDetail 数据库不一致的详情,mongodb业务用到
DifferenceData DifferenceDataDetail 数据不一致的详情,mongodb业务用到
DifferenceRow DifferenceRowDetail 数据行不一致的详情,mongodb业务用到
DifferenceSchema DifferenceSchemaDetail 表结构不一致详情,pg用
DifferenceOwner DifferenceOwnerDetail 对象owner不一致详情,pg用

CompareObject

一致性对比对象配置

被如下接口引用:CreateCompareTask, DescribeCompareReport, DescribeCompareTasks, ModifyCompareTask。

名称 类型 必选 描述
ObjectMode String 对象模式 整实例-all,部分对象-partial
ObjectItems Array of CompareObjectItem 对象列表
AdvancedObjects Array of String 高级对象类型,目前只支持mongodb链路。如index(索引),shardkey(片键),schema(库表)
注意:此字段可能返回 null,表示取不到有效值。

CompareObjectItem

一致性校验库表对象

被如下接口引用:CreateCompareTask, DescribeCompareReport, ModifyCompareTask。

名称 类型 必选 描述
DbName String 数据库名
DbMode String 数据库选择模式: all 为当前对象下的所有对象,partial 为部分对象
SchemaName String schema名称
TableMode String 表选择模式: all 为当前对象下的所有表对象,partial 为部分表对象
Tables Array of CompareTableItem 用于一致性校验的表配置,当 TableMode 为 partial 时,需要填写
ViewMode String 视图选择模式: all 为当前对象下的所有视图对象,partial 为部分视图对象(一致性校验不校验视图,当前参数未启作用)
Views Array of CompareViewItem 用于一致性校验的视图配置,当 ViewMode 为 partial 时, 需要填写(一致性校验不校验视图,当前参数未启作用)
注意:此字段可能返回 null,表示取不到有效值。

CompareOptions

一致性校验选项

被如下接口引用:CreateCompareTask, DescribeCompareReport, DescribeCompareTasks, DescribeMigrationDetail, ModifyCompareTask, ModifyMigrationJob。

名称 类型 必选 描述
Method String 对比方式:dataCheck(完整数据对比)、sampleDataCheck(抽样数据对比)、rowsCount(行数对比), 默认为dataCheck
SampleRate Integer 抽样比例;范围0,100。默认为100
ThreadCount Integer 线程数,取值1-8,默认为1
Type String 对比类型:builtin(内置校验)、independent(独立校验)。默认为builtin,mongodb及redis链路不支持独立校验。
CompareMode Array of String 校验类型,枚举值:structureCheck-结构校验(目前仅postgresql支持)、full-全量校验、increment-增量校验(如果勾选了增量校验,Method只能选dataCheck)、advanceObject-数据库信息校验(目前仅mongodb支持)
注意:此字段可能返回 null,表示取不到有效值。
ReCheckTime Integer 复检次数
ReCheckInterval Integer 复检时间间隔,单位为分钟,取值 1-60

CompareTableItem

用于一致性校验的表配置

被如下接口引用:CreateCompareTask, DescribeCompareReport, ModifyCompareTask。

名称 类型 必选 描述
TableName String 表名称
ColumnMode String column 模式,all 为全部,partial 表示部分(该参数仅对数据同步任务有效)
Columns Array of CompareColumnItem 当 ColumnMode 为 partial 时必填(该参数仅对数据同步任务有效)
FilterCondition String 过滤条件
FilterTimeZone String 时区选择。如 "+08:00", "-08:00", "+00:00"(空值等价于"+00:00")

CompareTaskInfo

数据一致性校验结果

被如下接口引用:DescribeMigrationDetail, DescribeMigrationJobs。

名称 类型 描述
CompareTaskId String 一致性校验任务Id
Status String 一致性校验结果,包括:unstart(未启动)、running(校验中)、canceled(已终止)、failed(校验任务失败)、inconsistent(不一致)、consistent(一致)、notexist(不存在校验任务)

CompareTaskItem

一致性校验对象信息

被如下接口引用:DescribeCompareTasks。

名称 类型 描述
JobId String 任务id
CompareTaskId String 对比任务 Id
TaskName String 对比任务名称
Status String 对比任务状态, 可能的值:created - 创建完成;readyRun - 等待运行;running - 运行中;success - 成功;stopping - 结束中;failed - 失败;canceled - 已终止
Config CompareObject 对比任务配置
CheckProcess ProcessProgress 对比任务校验详情
CompareProcess ProcessProgress 对比任务运行详情
Conclusion String 对比结果, 可能的值:same - 一致;different - 不一致;skipAll - 跳过
CreatedAt String 任务创建时间
StartedAt String 任务启动时间
FinishedAt String 对比结束时间
Method String 对比类型,dataCheck(完整数据对比)、sampleDataCheck(抽样数据对比)、rowsCount(行数对比)
Options CompareOptions 对比配置信息
Message String 一致性校验提示信息

CompareViewItem

用于一致性校验的视图配置

被如下接口引用:CreateCompareTask, DescribeCompareReport, ModifyCompareTask。

名称 类型 必选 描述
ViewName String 视图名

ConflictHandleOption

冲突处理里的详细描述

被如下接口引用:ConfigureSyncJob, DescribeSyncJobs, ModifySyncJobConfig。

名称 类型 必选 描述
ConditionColumn String 条件覆盖的列
ConditionOperator String 条件覆盖操作,目前仅支持>
ConditionOrderInSrcAndDst String 条件覆盖优先级处理,支持类型有>,<,=

ConsistencyOption

数据一致性校验选项, 默认为不开启一致性校验

被如下接口引用:DescribeMigrationDetail, ModifyMigrationJob。

名称 类型 必选 描述
Mode String 一致性检测类型: full(全量检测迁移对象)、noCheck(不检测)、notConfigured(未配置)
ObjectMode String 校验对象选择。枚举值:sameAsMigrate-与迁移同步任务相同、custom-用户自定义,搭配Objects操作
Objects DatabaseTableObject 校验对象
注意:此字段可能返回 null,表示取不到有效值。
Options CompareOptions 校验配置

DBEndpointInfo

实例信息

被如下接口引用:DescribeMigrationDetail, DescribeMigrationJobs, ModifyMigrationJob。

名称 类型 必选 描述
Region String 实例所在地域
AccessType String 实例网络接入类型,如:extranet(外网)、ipv6(公网ipv6)、cvm(云服务器自建)、dcg(专线接入)、vpncloud(vpn接入的实例)、cdb(云数据库)、ccn(云联网)、intranet(自研上云)、vpc(私有网络)等,注意具体可选值依赖当前链路
DatabaseType String 实例数据库类型,如:mysql,redis,mongodb,postgresql,mariadb,percona 等
NodeType String 节点类型,simple表示普通节点、cluster表示集群节点;
对于mongo业务,取值为replicaset(mongodb副本集)、standalone(mongodb单节点)、cluster(mongodb集群);
对于redis实例,simple(单节点)、cluster-cache(直连集群)、cluster-proxy(代理集群);
Info Array of DBInfo 实例具体的连接信息,如ip、port、接入方式等
Supplier String 实例服务提供商,如:"others","aliyun","aws"
ExtraAttr Array of KeyValuePairOption 此参数为数组类型,可以传多个键值对结构对象。
MongoDB可定义如下的参数:
'AuthDatabase':'admin', //认证库
'AuthFlag': "1", //实例是否需要认证,"0": 不用认证;"1":需要认证
'AuthMechanism':"SCRAM-SHA-1", //实例认证方式
"fetchMethod":"oplog", //fetchMethod表示迁移方式,支持oplog、change_stream
"connectMode":"srv", //外网srv连接模式
"EncryptedConnProtocol":"mongo_atlas_ssl"; //加密连接方式
其中fetchMethod表示迁移方式,还可支持change_stream;EncryptedConnProtocol值为mongo_atlas_ssl表示使用atlas ssl连接方式。
DatabaseNetEnv String 数据库所属网络环境,AccessType为云联网(ccn)时必填, UserIDC表示用户IDC、TencentVPC表示腾讯云VPC;
ConnectType String tdsql连接方式:proxy-通过tdsql proxy主机访问各个set节点,注意只有在自研上云的网络环境下才能通过这种方式连接,Info中只需要提供proxy主机信息。set-直连set节点,如选择直连set方式,Info中需要正确填写proxy主机信息及所有set节点信息。源端是tdsqlmysql类型必填。
CcnOwnerUin String 云联网网关所属账号,如果云联网网关为其他账号资源需要填写

DBInfo

数据库信息

被如下接口引用:DescribeMigrationDetail, DescribeMigrationJobs, ModifyMigrationJob。

名称 类型 必选 描述
Role String

表示节点角色,针对分布式数据库,如mongodb中的mongos节点。tdsqlmysql的可选项:proxy表示节点类型为主机,set表示节点类型为节点。proxy类型必须填在数组第一项。tdsqlmysql类型的源/目标配置必填。

DbKernel String

内核版本,针对mariadb的不同内核版本等

Host String

实例的IP地址,对于公网、专线、VPN、云联网、自研上云、VPC等接入方式此项必填

Port Integer

实例的端口,对于公网、云主机自建、专线、VPN、云联网、自研上云、VPC等接入方式此项必填

User String

实例的用户名

Password String

实例的密码

CvmInstanceId String

CVM实例短ID,格式如:ins-olgl39y8;与云服务器控制台页面显示的实例ID相同;如果接入类型为云主机自建的方式,此项必填

UniqVpnGwId String

VPN网关ID,格式如:vpngw-9ghexg7q;如果接入类型为vpncloud的方式,此项必填

UniqDcgId String

专线网关ID,格式如:dcg-0rxtqqxb;如果接入类型为专线接入的方式,此项必填

InstanceId String

数据库实例ID,格式如:cdb-powiqx8q;如果接入类型为云数据库的方式,此项必填

CcnGwId String

云联网ID,如:ccn-afp6kltc 注意:此字段可能返回 null,表示取不到有效值。

VpcId String

私有网络ID,格式如:vpc-92jblxto;如果接入类型为vpc、vpncloud、ccn、dcg的方式,此项必填

SubnetId String

私有网络下的子网ID,格式如:subnet-3paxmkdz;如果接入类型为vpc、vpncloud、ccn、dcg的方式,此项必填

EngineVersion String

数据库版本,当实例为RDS实例时才有效,格式如:5.6或者5.7,默认为5.6

Account String

实例所属账号

AccountRole String

跨账号迁移时的角色,只允许[a-zA-Z0-9-_]+

AccountMode String

资源所属账号 为空或self(表示本账号内资源)、other(表示其他账户资源)

TmpSecretId String

临时密钥Id,可通过申请扮演角色临时访问凭证获取临时密钥https://www.tencentcloud.com/document/product/1312/48197?from_cn_redirect=1,其中角色资源RoleArn的定义可参考DTS跨账号迁移文档(https://www.tencentcloud.com/document/product/571/54117?from_cn_redirect=1)第4节中关于角色的定义。

TmpSecretKey String

临时密钥Id,可通过申请扮演角色临时访问凭证获取临时密钥https://www.tencentcloud.com/document/product/1312/48197?from_cn_redirect=1,其中角色资源RoleArn的定义可参考DTS跨账号迁移文档(https://www.tencentcloud.com/document/product/571/54117?from_cn_redirect=1)第4节中关于角色的定义。

TmpToken String

临时密钥Id,可通过申请扮演角色临时访问凭证获取临时密钥https://www.tencentcloud.com/document/product/1312/48197?from_cn_redirect=1,其中角色资源RoleArn的定义可参考DTS跨账号迁移文档(https://www.tencentcloud.com/document/product/571/54117?from_cn_redirect=1)第4节中关于角色的定义。

EncryptConn String

是否走加密传输、UnEncrypted表示不走加密传输,Encrypted表示走加密传输,默认UnEncrypted

SetId String

tdsql的分片id。如节点类型为set必填。

DBItem

迁移对象信息,在配置库表视图等对象信息时大小写敏感

被如下接口引用:DescribeMigrationDetail, ModifyMigrationJob。

名称 类型 必选 描述
DbName String 需要迁移或同步的库名,当ObjectMode为partial时,此项必填
NewDbName String 迁移或同步后的库名,默认与源库相同
SchemaName String 迁移或同步的 schema
NewSchemaName String 迁移或同步后的 schema name
DBMode String DB选择模式: all(为当前对象下的所有对象),partial(部分对象),当ObjectMode为partial时,此项必填
SchemaMode String schema选择模式: all(为当前对象下的所有对象),partial(部分对象)
TableMode String 表选择模式: all(为当前对象下的所有对象),partial(部分对象),当DBMode为partial时此项必填
Tables Array of TableItem 表图对象集合,当 TableMode 为 partial 时,此项需要填写
ViewMode String 视图选择模式: all 为当前对象下的所有视图对象,partial 为部分视图对象
Views Array of ViewItem 视图对象集合,当 ViewMode 为 partial 时, 此项需要填写
RoleMode String postgresql独有参数,角色选择模式: all 为当前对象下的所有角色对象,partial 为部分角色对象
Roles Array of RoleItem postgresql独有参数,当 RoleMode 为 partial 时, 此项需要填写
FunctionMode String 选择要同步的模式,partial为部分,all为整选
TriggerMode String 选择要同步的模式,partial为部分,all为整选
EventMode String 选择要同步的模式,partial为部分,all为整选
ProcedureMode String 选择要同步的模式,partial为部分,all为整选
Functions Array of String FunctionMode取值为partial时需要填写
Procedures Array of String ProcedureMode取值为partial时需要填写
Events Array of String EventMode取值为partial时需要填写
Triggers Array of String TriggerMode取值为partial时需要填写

DBOpFilter

库/表/视图级别的 DDL/DML 白名单

被如下接口引用:ConfigureSyncJob, DescribeSyncJobs, ModifySyncJobConfig。

名称 类型 必选 描述
DbName String 规则生效的库名
OpFilter OpFilter 库级 DDL/DML 过滤规则
Tables Array of TableFilter 表级 DDL/DML 过滤信息
Views Array of ViewFilter 视图级 DDL/DML 过滤信息

Database

需要同步的库表对象

被如下接口引用:ConfigureSyncJob, DescribeSyncJobs, ModifySyncJobConfig。

名称 类型 必选 描述
DbName String 需要迁移或同步的库名,当ObjectMode为Partial时,此项必填
NewDbName String 迁移或同步后的库名,默认与源库相同
DbMode String DB选择模式: All(为当前对象下的所有对象),Partial(部分对象),当Mode为Partial时,此项必填。注意,高级对象的同步不依赖此值,如果整库同步此处应该为All。
SchemaName String 迁移或同步的 schema
NewSchemaName String 迁移或同步后的 schema name
TableMode String 表选择模式: All(为当前对象下的所有对象),Partial(部分对象),当DBMode为Partial时此项必填,如果整库同步此处应该为All。
Tables Array of Table 表图对象集合,当 TableMode 为 Partial 时,此项需要填写
ViewMode String 视图选择模式: All 为当前对象下的所有视图对象,Partial 为部分视图对象,如果整库同步此处应该为All。
Views Array of View 视图对象集合,当 ViewMode 为 Partial 时, 此项需要填写
FunctionMode String 选择要同步的模式,Partial为部分,All为整选,如果整库同步此处应该为All。
Functions Array of String FunctionMode取值为Partial时需要填写
ProcedureMode String 选择要同步的模式,Partial为部分,All为整选,如果整库同步此处应该为All。
Procedures Array of String ProcedureMode取值为Partial时需要填写
TriggerMode String 触发器迁移模式,All(为当前对象下的所有对象),Partial(部分对象),如果整库同步此处应该为All。数据同步暂不支持此高级对象。
Triggers Array of String 当TriggerMode为partial,指定要迁移的触发器名称
EventMode String 事件迁移模式,All(为当前对象下的所有对象),Partial(部分对象),如果整库同步此处应该为All。数据同步暂不支持此高级对象。
Events Array of String 当EventMode为partial,指定要迁移的事件名称

DatabaseTableObject

迁移对象选项,需要告知迁移服务迁移哪些库表对象

被如下接口引用:DescribeMigrationDetail, ModifyMigrationJob。

名称 类型 必选 描述
ObjectMode String 迁移对象类型 all(全实例),partial(部分对象)
Databases Array of DBItem 迁移对象,当 ObjectMode 为 partial 时,不为空
AdvancedObjects Array of String 高级对象类型,如trigger(触发器)、function(函数)、procedure(存储过程)、event(事件)。注意:如果要迁移同步高级对象,此配置中应该包含对应的高级对象类型。

> 当前支持高级对象迁移的场景为MySQL、TDSQL-CMySQL、MariaDB、Percona之间的数据迁移。
注意:此字段可能返回 null,表示取不到有效值。

DdlOption

数据同步中的ddl同步处理

被如下接口引用:ConfigureSyncJob, DescribeSyncJobs, ModifySyncJobConfig。

名称 类型 必选 描述
DdlObject String ddl类型,如Database,Table,View,Index等
DdlValue Array of String ddl具体值,对于Database可取值[Create,Drop,Alter]
对于Table可取值[Create,Drop,Alter,Truncate,Rename]
对于View可取值[Create,Drop]
对于Index可取值[Create,Drop]
注意:此字段可能返回 null,表示取不到有效值。

DetailCheckItem

每个检查步骤里的具体检查项

被如下接口引用:DescribeMigrationCheckJob。

名称 类型 描述
CheckItemName String 检查项的名称,如:源实例权限检查
Description String 检查项详细内容
CheckResult String pass(通过),failed(失败), warning(校验有警告,但仍通过)
FailureReason String 检查项失败原因
Solution String 解决方案
ErrorLog Array of String 运行报错日志
HelpDoc Array of String 详细帮助的文档链接
SkipInfo String 跳过风险文案

DifferenceAdvancedObjectsDetail

数据库不一致的详情,mongodb业务用到

被如下接口引用:DescribeCompareReport。

名称 类型 描述
TotalCount Integer 总数
Items Array of AdvancedObjectsItem 不一致详情
注意:此字段可能返回 null,表示取不到有效值。

DifferenceData

数据不一致详情

被如下接口引用:DescribeCompareReport。

名称 类型 描述
Db String 数据库名
Table String 集合
SrcChunk String 源端ID
DstChunk String 目标端ID
SrcItem String 源端值
DstItem String 目标端值
CreatedAt String 创建时间
UpdatedAt String 更新时间

DifferenceDataDetail

mongodb数据不一致性详情

被如下接口引用:DescribeCompareReport。

名称 类型 描述
TotalCount Integer 总数
Items Array of DifferenceData mongo数据不一致详细列表
注意:此字段可能返回 null,表示取不到有效值。

DifferenceDetail

数据不一致的表详情

被如下接口引用:DescribeCompareReport。

名称 类型 描述
TotalCount Integer 数据不一致的表数量
Items Array of DifferenceItem 校验不一致的表详情
注意:此字段可能返回 null,表示取不到有效值。

DifferenceItem

校验不一致的表详情

被如下接口引用:DescribeCompareReport。

名称 类型 描述
Db String 数据库名
Schema String schema
Table String 表名
Chunk Integer 分块号
SrcItem String 源库数值
DstItem String 目标库数值
IndexName String 索引名称
LowerBoundary String 索引下边界
UpperBoundary String 索引上边界
CostTime Float 对比消耗时间,单位为 ms
FinishedAt String 完成时间

DifferenceOwnerDetail

pg owner不一致性详情

被如下接口引用:DescribeCompareReport。

名称 类型 描述
TotalCount Integer owner不一致总数
Items Array of OwnerDifference owner不一致详情
注意:此字段可能返回 null,表示取不到有效值。

DifferenceRowDetail

mongodb行数校验不一致性详情结果

被如下接口引用:DescribeCompareReport。

名称 类型 描述
TotalCount Integer 不一致总数
Items Array of RowsCountDifference 不一致列表
注意:此字段可能返回 null,表示取不到有效值。

DifferenceSchemaDetail

表结构不一致信息

被如下接口引用:DescribeCompareReport。

名称 类型 描述
TotalCount Integer 表结构不一致的数量
Items Array of SchemaDifference 表结构不一致信息
注意:此字段可能返回 null,表示取不到有效值。

DistributeRule

订阅任务的kafka分区规则。符合库名和表名正则表达式的数据将按照RuleType计算该条数据将被投递的kafka分区。如果配置了多个规则,将按照配置的顺序,第一条命中的规则生效。

被如下接口引用:ConfigureSubscribeJob, DescribeSubscribeDetail, ModifySubscribeObjects。

名称 类型 必选 描述
RuleType String 规则类型。非mongo产品的枚举值为: table-按表名分区,pk-按表名+主键分区,cols-按列名分区。mongo的枚举值为:collection-按集合名分区、collectionAndObjectId-按集合+主键分区。
DbPattern String 库名匹配规则,请填写正则表达式
TablePattern String 表名匹配规则,如果 DatabaseType 为 mongodb,则匹配集合名
Columns Array of String 列名。如果 RuleType 为 cols,此项必填。订阅任务会用该列的值计算分区。mongo没有按列分区,因此也不用传这个字段。

DynamicOptions

数据同步中的选项

被如下接口引用:ModifySyncJobConfig。

名称 类型 必选 描述
OpTypes Array of String 所要同步的DML和DDL的选项,Insert(插入操作)、Update(更新操作)、Delete(删除操作)、DDL(结构同步),PartialDDL(自定义,和DdlOptions一起起作用 );必填、dts会用该值覆盖原有的值
DdlOptions Array of DdlOption DDL同步选项,具体描述要同步哪些DDL; 当OpTypes取值PartialDDL时、字段不能为空;必填、dts会用该值覆盖原有的值
ConflictHandleType String 冲突处理选项,ReportError(报错)、Ignore(忽略)、Cover(覆盖)、ConditionCover(条件覆盖); 目前目标端为kafka的链路不支持修改该配置
ConflictHandleOption ConflictHandleOption 冲突处理的详细选项,如条件覆盖中的条件行和条件操作;不能部分更新该选项的内部字段;有更新时、需要全量更新该字段
KafkaOption KafkaOption 同步到kafka链路的kafka配置
FilterBeginCommit Boolean 同步到kafka链路是否过滤掉begin和commit消息。目前仅mysql2kafka链路支持
FilterCheckpoint Boolean 同步到kafka链路是否过滤掉checkpoint消息。目前仅mysql2kafka链路支持
DealOfExistSameTable String 同名表的处理,ReportErrorAfterCheck(前置校验并报错,默认)、ExecuteAfterIgnore(忽略并继续执行)
StartPosition String 仅增量任务重新设置指定位点

Endpoint

数据同步中的描述源端和目的端的信息

被如下接口引用:ConfigureSyncJob, DescribeSyncJobs。

名称 类型 必选 描述
Region String

地域英文名,如:ap-guangzhou

Role String

节点类型,proxy表示节点类型为主机,set表示节点类型为节点。proxy类型必须填在数组第一项。tdsqlmysql类型的源/目标配置必填

DbKernel String

数据库内核类型,tdsql中用于区分不同内核:percona,mariadb,mysql。注意TDSQL-C MySQL、TDSQL PostgreSQL无需填写此项值。

InstanceId String

数据库实例ID,格式如:cdb-powiqx8q

Ip String

实例的IP地址,接入类型为非cdb时此项必填

Port Integer

实例端口,接入类型为非cdb时此项必填

User String

用户名,对于访问需要用户名密码认证的实例必填

Password String

密码,对于访问需要用户名密码认证的实例必填

DbName String

数据库名,数据库为cdwpg时,需要提供

VpcId String

私有网络ID,对于私有网络、专线、VPN的接入方式此项必填,格式如:vpc-92jblxto

SubnetId String

私有网络下的子网ID,对于私有网络、专线、VPN的接入方式此项必填,格式如:subnet-3paxmkdz

CvmInstanceId String

CVM实例短ID,格式如:ins-olgl39y8,与云服务器控制台页面显示的实例ID相同。如果是CVM自建实例,需要传递此字段

UniqDcgId String

专线网关ID,对于专线接入类型此项必填,格式如:dcg-0rxtqqxb

UniqVpnGwId String

VPN网关ID,对于vpn接入类型此项必填,格式如:vpngw-9ghexg7q

CcnId String

云联网ID,对于云联网接入类型此项必填,如:ccn-afp6kltc

Supplier String

云厂商类型,当实例为RDS实例时,填写为aliyun, 其他情况均填写others,默认为others

EngineVersion String

数据库版本,当实例为RDS实例时才有效,其他实例忽略,格式如:5.6或者5.7,默认为5.6

Account String

实例所属账号,如果为跨账号实例此项必填

AccountMode String

资源所属账号 为空或self(表示本账号内资源)、other(表示跨账号资源)

AccountRole String

跨账号同步时的角色,只允许[a-zA-Z0-9-_]+,如果为跨账号实例此项必填

RoleExternalId String

外部角色id

TmpSecretId String

临时密钥Id,可通过申请扮演角色临时访问凭证获取临时密钥https://www.tencentcloud.com/document/product/1312/48197?from_cn_redirect=1,其中角色资源RoleArn的定义可参考DTS跨账号同步文档(https://www.tencentcloud.com/document/product/571/68729?from_cn_redirect=1)第4节中关于角色的定义。

TmpSecretKey String

临时密钥Id,可通过申请扮演角色临时访问凭证获取临时密钥https://www.tencentcloud.com/document/product/1312/48197?from_cn_redirect=1,其中角色资源RoleArn的定义可参考DTS跨账号同步文档(https://www.tencentcloud.com/document/product/571/68729?from_cn_redirect=1)第4节中关于角色的定义。

TmpToken String

临时密钥Id,可通过申请扮演角色临时访问凭证获取临时密钥https://www.tencentcloud.com/document/product/1312/48197?from_cn_redirect=1,其中角色资源RoleArn的定义可参考DTS跨账号同步文档(https://www.tencentcloud.com/document/product/571/68729?from_cn_redirect=1)第4节中关于角色的定义。

EncryptConn String

是否走加密传输、UnEncrypted表示不走加密传输,Encrypted表示走加密传输,默认UnEncrypted

DatabaseNetEnv String

数据库所属网络环境,AccessType为云联网(ccn)时必填, UserIDC表示用户IDC、TencentVPC表示腾讯云VPC;

CcnOwnerUin String

数据库为跨账号云联网下的实例时、表示云联网所属主账号

ChildInstanceId String

数据库为cynos、且是cynos集群内的一个子数据库实例时、该参数为该子实例的ID

ChildInstanceType String

数据库为cynos、且是cynos集群内的一个子数据库实例时、该参数为该子实例的类型、例如:只读实例传ro、读写实例传rw

SetId String

tdsql的分片id。如节点类型为set必填。

EndpointItem

数据订阅的实例节点信息

被如下接口引用:ConfigureSubscribeJob, DescribeSubscribeDetail, DescribeSubscribeJobs。

名称 类型 必选 描述
DatabaseRegion String 源库所在地域。如果 AccessType 为 ccn,请填vpc所在地域,因为此时不知道源库在哪个地域。其他接入方式,请填订阅任务所在地域,因为确保订阅任务与源库在同一地域是最优的网络方案。
User String 用户名
Password String 密码。作为入参时必填,作为出参时为空。
InstanceId String 目标实例ID。如果 AccessType 为 cdb,此项必填。配置InstanceId时会查询并校验实例信息。mysql的查询接口经过了鉴权,请确保子用户有 cdb:DescribeDBInstances 的接口权限。
CvmInstanceId String 云主机ID。如果 AccessType 为 cvm,此项必填。
UniqDcgId String 专线网关ID。如果 AccessType 为 dcg,此项必填。
CcnId String 云联网ID。如果 AccessType 为 ccn,此项必填。
UniqVpnGwId String vpn网关ID。如果 AccessType 为 vpncloud,此项必填。
VpcId String VpcID。如果 AccessType 为 dcg\ccn\vpncloud\vpc,此项必填。
SubnetId String 子网ID。如果 AccessType 为 dcg\ccn\vpncloud\vpc,此项必填。
HostName String 数据库地址,支持域名与IP。如果 AccessType 为 dcg\ccn\vpncloud\vpc\extranet\intranet,此项必填。
Port Integer 数据库端口。如果 AccessType 为 dcg\ccn\vpncloud\vpc\extranet\intranet\cvm,此项必填。
EncryptConn String 是否走加密传输,枚举值:UnEncrypted-不加密,Encrypted-加密。只有mysql支持,不填默认不加密,其他产品不填。
DatabaseNetEnv String 数据库网络环境。如果 AccessType 为 ccn 此项必填。枚举值:UserIDC-自建idc,TencentVPC-腾讯云,Aws-aws,AliYun-阿里云,Others-其他。
CcnOwnerUin String 云联网网关所属的主账号uin、跨账号云联网需要。
ExtraAttr Array of KeyValuePairOption 为业务添加的额外信息。参数名作key,参数值作value。
tdpg必填参数:PgDatabase-订阅的库名;
mongo选填参数:InstanceType-实例类型:replicaset-副本集,cluster-分片集,主要用于控制台跳转到mongo实例页面,如不填不影响任务运行;
全业务选填参数:EngineVersion-内核版本。
ChildInstanceId String 数据库为cynos、且是cynos集群内的一个子数据库实例时、该参数为该子实例的ID
ChildInstanceType String 数据库为cynos、且是cynos集群内的一个子数据库实例时、该参数为该子实例的类型、例如:只读实例传ro、读写实例传rw

ErrInfo

错误信息及其解决方案

被如下接口引用:DescribeSyncJobs。

名称 类型 描述
Reason String 错误原因
Message String 错误信息
Solution String 解决方案

ErrorInfoItem

任务错误信息

被如下接口引用:DescribeMigrationDetail。

名称 类型 描述
Code String 错误码
Solution String 解决方案
ErrorLog String 错误日志信息
HelpDoc String 文档提示

GroupInfo

kafka消费者组详情

被如下接口引用:DescribeConsumerGroups。

名称 类型 描述
Account String 消费者组账号
ConsumerGroupName String 消费者组名称
Description String 消费者组备注
ConsumerGroupOffset Integer 消费组偏移量。该字段是为了兼容以前单Partition的情况,取值为最后一个分区的偏移量。各分区的偏移量详见StateOfPartition字段
ConsumerGroupLag Integer 消费组未消费的数据量。该字段是为了兼容以前单Partition的情况,取值为最后一个分区未消费的数据量。各分区未消费数据量详见StateOfPartition字段
Latency Integer 消费延迟(单位为秒)
StateOfPartition Array of MonitorInfo 各分区的消费状态
CreatedAt String 消费者组创建时间,格式为YYYY-MM-DD hh:mm:ss
UpdatedAt String 消费者组修改时间,格式为YYYY-MM-DD hh:mm:ss
ConsumerGroupState String 消费者组状态,包括Dead、Empty、Stable等,只有Dead和Empty两种状态可以执行reset操作
PartitionAssignment Array of PartitionAssignment 每个消费者正在消费的分区

JobItem

迁移任务列表

被如下接口引用:DescribeMigrationJobs。

名称 类型 描述
JobId String 数据迁移任务ID
JobName String 数据迁移任务名称
CreateTime String 任务创建(提交)时间,格式为 yyyy-mm-dd hh:mm:ss
UpdateTime String 任务更新时间,格式为 yyyy-mm-dd hh:mm:ss
StartTime String 任务开始执行时间,格式为 yyyy-mm-dd hh:mm:ss
EndTime String 任务执行结束时间,格式为 yyyy-mm-dd hh:mm:ss
BriefMsg String 迁移任务错误信息
Status String 任务状态,取值为:creating(创建中)、created(创建完成)、checking(校验中)、checkPass(校验通过)、checkNotPass(校验不通过)、readyRun(准备运行)、running(任务运行)、readyComplete(准备完成)、success(任务成功)、failed(任务失败)、stopping(终止中)、completing(完成中)、pausing(暂停中)、manualPaused(已暂停)、resumableErr(可重试错误)、resuming(重试中)、unknown(未知状态)、error(任务错误)、canceled(已取消)
RunMode String 任务运行模式,值包括:immediate(立即运行),timed(定时运行)
ExpectRunTime String 期待启动时间,当RunMode取值为timed时,此值必填,形如:2022-07-11 16:20:49
Action MigrateAction 任务操作信息
StepInfo MigrateDetailInfo 迁移执行过程信息
SrcInfo DBEndpointInfo 源实例信息
DstInfo DBEndpointInfo 目标端信息
CompareTask CompareTaskInfo 数据一致性校验结果
TradeInfo TradeInfo 计费状态信息
Tags Array of TagItem 标签信息
AutoRetryTimeRangeMinutes Integer 自动重试时间段信息
DumperResumeCtrl String 全量导出可重入标识:enum::"yes"/"no"。yes表示当前任务可重入、no表示当前任务处于全量导出且不可重入阶段;如果在该值为no时重启任务导出流程不支持断点续传

KafkaOption

目标端为kafka时添加的同步选项字段

被如下接口引用:ConfigureSyncJob, DescribeSyncJobs, ModifySyncJobConfig。

名称 类型 必选 描述
DataType String

投递到kafka的数据类型,如Avro,Json,canal-pb,canal-json,debezium

TopicType String

同步topic策略,如Single(集中投递到单topic),Multi (自定义topic名称)

DDLTopicName String

用于存储ddl的topic

TopicRules Array of TopicRule

单topic和自定义topic的描述

DataOption Array of KeyValuePairOption

其他附加信息,对于特定数据类型可设置额外参数。比如针对Canal兼容的功能支持:"canalOfficialFormat":"on"表示打开Canal兼容功能,默认不带。针对大消息跳过的功能支持:"skipLargeMessage":"on"表示开启跳过大消息,默认不带;开启时需同时设置"maxMessageSizeMB"为1~100的正整数字符串,表示最大消息大小阈值(MB),超过该大小的消息将被跳过,默认不带。

KeyValuePairOption

存放配置时的额外信息

被如下接口引用:ConfigureSubscribeJob, ConfigureSyncJob, DescribeMigrationDetail, DescribeMigrationJobs, DescribeSubscribeDetail, DescribeSyncJobs, ModifyMigrateRuntimeAttribute, ModifyMigrationJob, ModifySyncJobConfig。

名称 类型 必选 描述
Key String 选项key
Value String 选项value

MigrateAction

任务操作信息,包含迁移任务的所有操作列表,及迁移任务在当前状态下允许的操作列表

被如下接口引用:DescribeMigrationDetail, DescribeMigrationJobs。

名称 类型 描述
AllAction Array of String 任务的所有操作列表
AllowedAction Array of String 任务在当前状态下允许的操作列表

MigrateDBItem

查询迁移实例列表的实例对象

被如下接口引用:DescribeMigrateDBInstances。

名称 类型 描述
InstanceId String 实例ID
InstanceName String 实例名称
Vip String 实例Vip
Vport Integer 实例Vport
Usable Integer 是否可以作为迁移对象,1-可以,0-不可以
Hint String 不可以作为迁移对象的原因

MigrateDetailInfo

迁移执行过程信息

被如下接口引用:DescribeMigrationDetail, DescribeMigrationJobs。

名称 类型 描述
StepAll Integer

总步骤数

StepNow Integer

当前步骤

MasterSlaveDistance Integer

主从差距,MB;只在任务正常,迁移或者同步的最后一步(追Binlog的阶段才有校),如果是非法值,返回-1

SecondsBehindMaster Integer

主从差距,秒;只在任务正常,迁移或者同步的最后一步(追Binlog的阶段才有校),如果是非法值,返回-1

StepInfo Array of StepDetailInfo

步骤信息

MigrateOption

迁移选项,描述任务如何执行迁移等一系列配置信息

被如下接口引用:DescribeMigrationDetail, ModifyMigrationJob。

名称 类型 必选 描述
DatabaseTable DatabaseTableObject

迁移对象选项,需要告知迁移服务迁移哪些库表对象

MigrateType String

迁移类型,full(全量迁移),structure(结构迁移),fullAndIncrement(全量加增量迁移), 默认为fullAndIncrement;注意redis,keewidb产品只支持fullAndIncrement类型。

Consistency ConsistencyOption

数据一致性校验选项, 默认为不开启一致性校验


注意:此字段可能返回 null,表示取不到有效值。
IsMigrateAccount Boolean

是否迁移账号,true(迁移账号),false(不迁移账号)

IsOverrideRoot Boolean

是否用源库Root账户覆盖目标库,值包括:false-不覆盖,true-覆盖,选择库表或者结构迁移时应该为false,注意只对旧版迁移有效

IsDstReadOnly Boolean

是否在迁移时设置目标库只读(仅对mysql有效),true(设置只读)、false(不设置只读,默认此值)

ExtraAttr Array of KeyValuePairOption

其他附加信息,对于特定库可设置额外参数,Redis可定义如下的参数:
["DstWriteMode":normal, 目标库写入模式,可取值clearData(清空目标实例数据)、overwrite(以覆盖写的方式执行任务)、normal(要求目标端为空,否则校验不通过) ,不显示指定默认以覆盖写的方式执行任务 "IsDstReadOnly":true, 是否在迁移时设置目标库只读,true(设置只读)、false(不设置只读) "ClientOutputBufferHardLimit":512, 从机缓冲区的硬性容量限制(MB) "ClientOutputBufferSoftLimit":512, 从机缓冲区的软性容量限制(MB) "ClientOutputBufferPersistTime":60, 从机缓冲区的软性限制持续时间(秒) "ReplBacklogSize":512, 环形缓冲区容量限制(MB) "ReplTimeout":120, 复制超时时间(秒) "IsExpireKey":"true",过期key自动淘汰]

MigrateWay String

pgsql迁移分类:logical(逻辑迁移)、physical(物理迁移)

ModifiedSubscribeObject

数据数据订阅的对象,用于修改订阅对象接口。与SubscribeObject结构类似,只是类型和参数名不同。

被如下接口引用:ModifySubscribeObjects。

名称 类型 必选 描述
ObjectsType Integer 订阅对象的类型,枚举值为:0-库,1-表(该值对于mongo任务来说,是集合) 。
注意:mongo只支持全实例、单库或者单集合订阅,因此该字段不要与SubscribeObjectType冲突。如:SubscribeObjectType=4,表示mongo单库订阅,那么该字段应该传0。
DatabaseName String 订阅数据库的名称
TableNames Array of String 订阅数据库中表(或集合)的名称。如果 ObjectsType 为 1,那么此字段为必填,且不为空;

MonitorInfo

kafka消费者组的分区详情

被如下接口引用:DescribeConsumerGroups。

名称 类型 描述
PartitionNo Integer 当前分区的编号,从0开始
ConsumerGroupOffset Integer 当前分区的偏移量
ConsumerGroupLag Integer 当前分区未消费的数据量
Latency Integer 当前分区的消费延迟(单位为秒)

Objects

同步的数据库对对象描述

被如下接口引用:ConfigureSyncJob, DescribeSyncJobs, ModifySyncJobConfig。

名称 类型 必选 描述
Mode String 同步对象类型 Partial(部分对象)
Databases Array of Database 同步对象,当 Mode 为 Partial 时,不为空
注意:此字段可能返回 null,表示取不到有效值。
AdvancedObjects Array of String 高级对象类型,如function、procedure。注意:如果要迁移同步高级对象,此配置中应该包含对应的高级对象类型。当需要同步高级对象时,初始化类型必须包含结构初始化类型,即任务的Options.InitType字段值为Structure或Full
DatabasesOpFilter Array of DBOpFilter 库/表/视图级 DML/DDL 白名单

OffsetTimeMap

数据订阅kafka分区中checkpoint信息

被如下接口引用:DescribeOffsetByTime。

名称 类型 描述
PartitionNo Integer kafka分区编号
Offset Integer kafka offset

OpFilter

DDL/DML 过滤规则

被如下接口引用:ConfigureSyncJob, DescribeSyncJobs, ModifySyncJobConfig。

名称 类型 必选 描述
OpTypes Array of String DML 白名单
DdlOptions Array of DdlOption DDL 白名单

Options

数据同步中的选项

被如下接口引用:ConfigureSyncJob, DescribeSyncJobs。

名称 类型 必选 描述
InitType String

同步初始化选项,Data(全量数据初始化)、Structure(结构初始化)、Full(全量数据且结构初始化,默认)、None(仅增量);mongodb链路只支持全量数据初始化或仅增量。

DealOfExistSameTable String

同名表的处理,ReportErrorAfterCheck(前置校验并报错,默认)、ExecuteAfterIgnore(忽略并继续执行)

ConflictHandleType String

冲突处理选项,ReportError(报错,默认为该值)、Ignore(忽略)、Cover(覆盖)、ConditionCover(条件覆盖)

AddAdditionalColumn Boolean

是否添加附加列

OpTypes Array of String

所要同步的DML和DDL的选项,Insert(插入操作)、Update(更新操作)、Delete(删除操作)、DDL(结构同步), PartialDDL(自定义,和DdlOptions一起配合使用)。注意,这里至少需要包含DML中的一种。


注意:此字段可能返回 null,表示取不到有效值。
ConflictHandleOption ConflictHandleOption

冲突处理的详细选项,如条件覆盖中的条件行和条件操作

DdlOptions Array of DdlOption

DDL同步选项,具体描述要同步哪些DDL


注意:此字段可能返回 null,表示取不到有效值。
KafkaOption KafkaOption

kafka同步选项

RateLimitOption RateLimitOption

任务限速信息

AutoRetryTimeRangeMinutes Integer

自动重试的时间窗口设置

StartPosition String

同步到kafka链路指定位点。目前只支持时间格式:2023-12-20T19:24:23+08:00。如果没有指定位点,为空。

FilterBeginCommit Boolean

同步到kafka链路是否过滤掉begin和commit消息。目前仅mysql2kafka链路支持

FilterCheckpoint Boolean

同步到kafka链路是否过滤掉checkpoint消息。目前仅mysql2kafka链路支持

OwnerDifference

pg对象owner不一致信息

被如下接口引用:DescribeCompareReport。

名称 类型 描述
Db String owner不一致的pg对象所在库
Schema String owner不一致的pg对象所在schema
ObjectName String owner不一致的pg对象名
ObjectType String owner不一致的pg对象类型
SrcOwner String 源库对象owner
DstOwner String 目标库对象owner

PartitionAssignment

数据订阅中kafka消费者组的分区分配情况。该数据是实时查询的,如果需要最新数据,需重新掉接口查询。

被如下接口引用:DescribeConsumerGroups。

名称 类型 描述
ClientId String 消费者的clientId
PartitionNo Array of Integer 该消费者正在消费的分区
注意:此字段可能返回 null,表示取不到有效值。

PipelineInfo

mongo输出聚合设置。输出默认 Change Event

被如下接口引用:ConfigureSubscribeJob, DescribeSubscribeDetail, ModifySubscribeObjects。

名称 类型 必选 描述
AggOp String 聚合运算符:$addFields、$match、$project、$replaceRoot、$redact、$replaceWith、$set、$unset。其中 $replaceWith、$set、$unset 只有当订阅实例是4.2及以上版本可选。
AggCmd String 聚合表达式。必须是json格式

ProcessProgress

任务步骤信息

被如下接口引用:DescribeCompareTasks, DescribeMigrationDetail。

名称 类型 描述
Status String 步骤的状态, 包括:notStarted(未开始)、running(运行中)、success(成功)、failed(失败)等
Percent Integer 进度信息
StepAll Integer 总的步骤数
StepNow Integer 当前进行的步骤
Message String 当前步骤输出提示信息
Steps Array of StepDetailInfo 步骤信息

ProcessStepTip

错误信息及告警信息对象

被如下接口引用:DescribeCompareTasks, DescribeMigrationDetail, DescribeMigrationJobs。

名称 类型 描述
Message String

提示信息

Solution String

解决方案

HelpDoc String

文档提示

RateLimitOption

迁移和同步任务限速的详细信息

被如下接口引用:ConfigureSyncJob, DescribeMigrationDetail, DescribeSyncJobs。

名称 类型 必选 描述
CurrentDumpThread Integer 当前生效的全量导出线程数,配置任务时可调整该字段值,注意:如果不设置或设置为0则表示保持当前值,最大值为16
DefaultDumpThread Integer 默认的全量导出线程数,该字段仅在出参有意义
CurrentDumpRps Integer 当前生效的全量导出Rps,配置任务时可调整该字段值,注意:如果不设置或设置为0则表示保持当前值,最大值为50000000
DefaultDumpRps Integer 默认的全量导出Rps,该字段仅在出参有意义
CurrentLoadThread Integer 当前生效的全量导入线程数,配置任务时可调整该字段值,注意:如果不设置或设置为0则表示保持当前值,最大值为16
DefaultLoadThread Integer 默认的全量导入线程数,该字段仅在出参有意义
CurrentLoadRps Integer 当前生效的全量导入Rps,配置任务时可调整该字段值,注意:如果不设置或设置为0则表示保持当前值,最大值为50000000
DefaultLoadRps Integer 默认的全量导入Rps,该字段仅在出参有意义
CurrentSinkerThread Integer 当前生效的增量导入线程数,配置任务时可调整该字段值,注意:如果不设置或设置为0则表示保持当前值,最大值为128
DefaultSinkerThread Integer 默认的增量导入线程数,该字段仅在出参有意义
HasUserSetRateLimit String enum:"no"/"yes"、no表示用户未设置过限速、yes表示设置过限速,该字段仅在出参有意义

RoleItem

角色对象,postgresql独有参数

被如下接口引用:DescribeMigrationDetail, ModifyMigrationJob。

名称 类型 必选 描述
RoleName String 角色名称
NewRoleName String 迁移后的角色名称

RowsCountDifference

mongodb行校验不一致详细信息

被如下接口引用:DescribeCompareReport。

名称 类型 描述
Db String 数据库名
Table String 集合
SrcCount Integer 源端行数
DstCount Integer 目标端行数

SchemaDifference

结构不一致详情

被如下接口引用:DescribeCompareReport。

名称 类型 描述
Db String 结构不一致的表所在库
Schema String 结构不一致的表所在schema
Table String 结构不一致的表
SrcSchema String 源库表结构
DstSchema String 目标库表结构

SkippedDetail

跳过校验的表详情

被如下接口引用:DescribeCompareReport。

名称 类型 描述
TotalCount Integer 跳过的表数量
Items Array of SkippedItem 跳过校验的表详情

SkippedItem

跳过校验的表详情

被如下接口引用:DescribeCompareReport。

名称 类型 描述
Db String 数据库名
Schema String schema名
Table String 表名
Reason String 未发起检查的原因

StepDetailInfo

步骤信息

被如下接口引用:DescribeCompareTasks, DescribeMigrationDetail, DescribeMigrationJobs。

名称 类型 描述
StepNo Integer

步骤序列

StepName String

步骤展现名称

StepId String

步骤英文标识

Status String

步骤状态:success(成功)、failed(失败)、running(执行中)、notStarted(未执行)、默认为notStarted

StartTime String

当前步骤开始的时间,格式为"yyyy-mm-dd hh:mm:ss",该字段不存在或者为空是无意义 注意:此字段可能返回 null,表示取不到有效值。

FinishTime String

完成时间

StepMessage String

步骤错误信息

Percent Integer

执行进度

Errors Array of ProcessStepTip

错误信息

Warnings Array of ProcessStepTip

告警提示

StepInfo

单个步骤的详细信息

被如下接口引用:DescribeCheckSyncJobResult, DescribeModifyCheckSyncJobResult, DescribeSyncJobs。

名称 类型 必选 描述
StepNo Integer

步骤编号

StepName String

步骤名

StepId String

步骤标号

Status String

当前步骤状态,可能返回有 notStarted(未开始)、running(校验中)、failed(校验任务失败)、finished(完成)、skipped(跳过)、paused(暂停)

StartTime String

步骤开始时间,可能为空

FinishTime String

完成时间

Errors Array of StepTip

错误信息


注意:此字段可能返回 null,表示取不到有效值。
Warnings Array of StepTip

警告信息


注意:此字段可能返回 null,表示取不到有效值。
Progress Integer

当前步骤进度,范围为[0-100],若为-1表示当前步骤不支持查看进度

StepTip

当前步骤错误信息或者警告信息

被如下接口引用:DescribeCheckSyncJobResult, DescribeModifyCheckSyncJobResult。

名称 类型 必选 描述
Code String 错误码
Message String 错误信息
Solution String 解决方式
HelpDoc String 帮助文档
SkipInfo String 当前步骤跳过信息

SubsErr

订阅报错信息

被如下接口引用:DescribeSubscribeDetail, DescribeSubscribeJobs。

名称 类型 描述
Message String 报错信息
Reason String 报错原因
Solution String 建议的修复方案

SubscribeCheckStepInfo

订阅校验任务的各步骤信息。

被如下接口引用:DescribeSubscribeCheckJob。

名称 类型 描述
StepName String 步骤名称
StepId String 步骤Id
StepNo Integer 步骤编号,从 1 开始
Status String 当前步骤状态,可能值为 notStarted-未开始,running-运行中,finished-已完成,failed-失败,unknown-未知
Percent Integer 当前步骤进度
Errors Array of SubscribeCheckStepTip 错误提示
Warnings Array of SubscribeCheckStepTip 告警提示

SubscribeCheckStepTip

订阅校验任务的提示信息

被如下接口引用:DescribeSubscribeCheckJob。

名称 类型 描述
Message String 错误或告警的详细信息
HelpDoc String 帮助文档

SubscribeInfo

订阅实例信息

被如下接口引用:DescribeSubscribeJobs。

名称 类型 描述
SubscribeId String 数据订阅的实例ID
SubscribeName String 数据订阅实例的名称
Topic String 订阅实例发送数据的kafka topic
Product String 订阅实例的类型,目前支持 cynosdbmysql,mariadb,mongodb,mysql,percona,tdpg,tdsqlpercona(tdsqlmysql)
InstanceId String 订阅的数据库实例ID(如果订阅的是云数据库)如果实例不是腾讯云上的,此值为空。
InstanceStatus String 云数据库状态:running 运行中,isolated 已隔离,offline 已下线。如果不是云上,此值为空
Status String 数据订阅生命周期状态,可能的值为:正常 normal, 隔离中 isolating, 已隔离 isolated, 下线中 offlining, 按量转包年包月中 post2PrePayIng
SubsStatus String 数据订阅状态,可能的值为:未启动 notStarted, 校验中 checking, 校验不通过 checkNotPass, 校验通过 checkPass, 启动中 starting, 运行中 running, 异常出错 error
ModifyTime String 上次修改时间,时间格式如:Y-m-d h:m:s
CreateTime String 创建时间,时间格式如:Y-m-d h:m:s
IsolateTime String 隔离时间,时间格式如:Y-m-d h:m:s。默认:0000-00-00 00:00:00
ExpireTime String 包年包月任务的到期时间,时间格式如:Y-m-d h:m:s。默认:0000-00-00 00:00:00
OfflineTime String 下线时间,时间格式如:Y-m-d h:m:s。默认:0000-00-00 00:00:00
PayType Integer 计费方式,1 - 按量计费
AutoRenewFlag Integer 自动续费标识。只有当 PayType=0,该值才有意义。枚举值:0-不自动续费,1-自动续费
Region String 数据订阅实例所属地域
AccessType String 接入方式。枚举值:extranet(公网) vpncloud(vpn接入) dcg(专线接入) ccn(云联网) cdb(云数据库) cvm(云主机自建) intranet(自研上云) vpc(私有网络vpc)
Endpoints Array of EndpointItem 数据库节点信息
SubscribeVersion String 数据订阅版本, 当前支持kafka和kafkaPro(专业版)
Tags Array of TagItem 标签
注意:此字段可能返回 null,表示取不到有效值。
Errors Array of SubsErr 任务报错信息,如果有的话。
注意:此字段可能返回 null,表示取不到有效值。
InstanceClass String 订阅实例规格

SubscribeKafkaConfig

订阅的kafka分区数和分区规则。mariadb,percona,tdsqlmysql,tdpg不支持自定义分区,所以DistributeRules和DefaultRuleType可以不填,但是NumberOfPartitions是必填。

被如下接口引用:ConfigureSubscribeJob, DescribeSubscribeDetail。

名称 类型 必选 描述
NumberOfPartitions Integer kafka分区数量,枚举值为1,4,8
DistributeRules Array of DistributeRule 分区规则。当NumberOfPartitions > 1时,该项必填。
DefaultRuleType String 默认分区策略。当NumberOfPartitions > 1时,该项必填。不满足DistributeRules中正则表达式的数据,将按照默认分区策略计算分区。
非mongo产品的枚举值为: table-按表名分区,pk-按表名+主键分区。mongo的枚举值为:collection-按集合名分区。
该字段与DistributeRules搭配使用,如果配置了该字段,视为配置了一条DistributeRules。

SubscribeObject

订阅的数据库表信息,用于配置和查询订阅任务接口。

被如下接口引用:ConfigureSubscribeJob, DescribeSubscribeDetail。

名称 类型 必选 描述
ObjectType String 订阅数据的类型,枚举值:database-数据库,table-数据库的表(如果 DatabaseType 为 mongodb,则表示集合)
Database String 订阅的数据库名称
Tables Array of String 订阅数据库中表的名称。如果 DatabaseType 为 mongodb,填集合名。mongodb只支持订阅单库或者单集合。
注意:此字段可能返回 null,表示取不到有效值。

SyncDBEndpointInfos

数据同步配置多节点数据库的节点信息。多节点数据库,如tdsqlmysql使用该结构;单节点数据库,如mysql使用Endpoint。

被如下接口引用:ConfigureSyncJob, DescribeSyncJobs。

名称 类型 必选 描述
Region String 数据库所在地域
AccessType String 实例网络接入类型,如:extranet(外网)、ipv6(公网ipv6)、cvm(云主机自建)、dcg(专线接入)、vpncloud(vpn接入的实例)、cdb(云数据库)、ccn(云联网)、intranet(自研上云)、vpc(私有网络)等,注意具体可选值依赖当前链路
DatabaseType String 实例数据库类型,如:mysql,redis,mongodb,postgresql,mariadb,percona 等
Info Array of Endpoint 数据库信息。注意:如果数据库类型为tdsqlmysql,此处Endpoint数组的顺序应满足规则:proxy节点放在set节点之前。如果SrcConnectType选择proxy接入则只需要填写proxy节点即可。如果选择set接入,数组中第一个set节点必须是shardkey范围起始为0的分片
注意:此字段可能返回 null,表示取不到有效值。

SyncDetailInfo

同步任务的步骤信息

被如下接口引用:DescribeSyncJobs。

名称 类型 描述
StepAll Integer

总步骤数

StepNow Integer

当前步骤

Progress Integer

总体进度

CurrentStepProgress Integer

当前步骤进度,范围为[0-100],若为-1表示当前步骤不支持查看进度

MasterSlaveDistance Integer

同步两端数据量差距

SecondsBehindMaster Integer

同步两端时间差距

Message String

总体描述信息

StepInfos Array of StepInfo

详细步骤信息


注意:此字段可能返回 null,表示取不到有效值。
CauseOfCompareDisable String

不能发起内置校验的原因

ErrInfo ErrInfo

任务的错误和解决方案信息

SyncJobInfo

同步任务信息

被如下接口引用:DescribeSyncJobs。

名称 类型 描述
JobId String 同步任务id,如:sync-btso140
JobName String 同步任务名
PayMode String 付款方式,PostPay(按量付费)、PrePay(包年包月)
RunMode String 运行模式,Immediate(表示立即运行,默认为此项值)、Timed(表示定时运行)
ExpectRunTime String 期待运行时间,格式为 yyyy-mm-dd hh:mm:ss
AllActions Array of String 支持的所有操作
Actions Array of String 当前状态能进行的操作
注意:此字段可能返回 null,表示取不到有效值。
Options Options 同步选项
Objects Objects 同步库表对象
Specification String 任务规格
ExpireTime String 过期时间,格式为 yyyy-mm-dd hh:mm:ss
SrcRegion String 源端地域,如:ap-guangzhou等
SrcDatabaseType String 源端数据库类型,mysql,tdsqlmysql,mariadb,cynosdbmysql(表示tdsql-c实例),tdstore,percona,postgresql,mongodb等。
SrcAccessType String 源端接入类型,cdb(云数据库)、cvm(云服务器自建)、vpc(私有网络)、extranet(外网)、vpncloud(vpn接入)、dcg(专线接入)、ccn(云联网)、intranet(自研上云)
SrcInfo Endpoint 源端信息,单节点数据库使用
SrcNodeType String 枚举值:cluster、single。源库为单节点数据库使用single,多节点使用cluster
SrcInfos SyncDBEndpointInfos 源端信息,若SrcNodeType=cluster,则源端信息在这个字段里,mongodb链路使用此参数透传。
DstRegion String 目标端地域,如:ap-guangzhou等
DstDatabaseType String 目标端数据库类型,mysql,tdsqlmysql,mariadb,cynosdbmysql(表示tdsql-c实例),tdstore,percona,postgresql,mongodb等。
DstAccessType String 目标端接入类型,cdb(云数据库)、cvm(云主机自建)、vpc(私有网络)、extranet(外网)、vpncloud(vpn接入)、dcg(专线接入)、ccn(云联网)、intranet(自研上云)
DstInfo Endpoint 目标端信息,单节点数据库使用
DstNodeType String 枚举值:cluster、single。目标库为单节点数据库使用single,多节点使用cluster
DstInfos SyncDBEndpointInfos 目标端信息,若SrcNodeType=cluster,则源端信息在这个字段里,mongodb链路使用此参数透传。
CreateTime String 创建时间,格式为 yyyy-mm-dd hh:mm:ss
StartTime String 开始时间,格式为 yyyy-mm-dd hh:mm:ss
Status String 任务状态,UnInitialized(未初始化)、Initialized(已初始化)、Checking(校验中)、CheckPass(校验通过)、CheckNotPass(校验不通过)、ReadyRunning(准备运行)、Running(运行中)、Pausing(暂停中)、Paused(已暂停)、Stopping(停止中)、Stopped(已结束)、ResumableErr(任务错误)、Resuming(恢复中)、Failed(失败)、Released(已释放)、Resetting(重置中)、Unknown(未知)
EndTime String 结束时间,格式为 yyyy-mm-dd hh:mm:ss
Tags Array of TagItem 标签相关信息
Detail SyncDetailInfo 同步任务运行步骤信息
TradeStatus String 用于计费的状态,可能取值有:Normal(正常状态)、Resizing(变配中)、Renewing(续费中)、Isolating(隔离中)、Isolated(已隔离)、Offlining(下线中)、Offlined(已下线)、NotBilled(未计费)、Recovering(解隔离)、PostPay2Prepaying(按量计费转包年包月中)、PrePay2Postpaying(包年包月转按量计费中)
InstanceClass String 同步链路规格,如micro,small,medium,large
AutoRenew Integer 自动续费标识,当PayMode值为PrePay则此项配置有意义,取值为:1(表示自动续费)、0(不自动续费)
OfflineTime String 下线时间,格式为 yyyy-mm-dd hh:mm:ss
OptObjStatus String 动态修改对象,修改任务的状态等
AutoRetryTimeRangeMinutes Integer 自动重试时间段设置
DumperResumeCtrl String 全量导出可重入标识:enum::"yes"/"no"。yes表示当前任务可重入、no表示当前任务处于全量导出且不可重入阶段;如果在该值为no时重启任务导出流程不支持断点续传

Table

数据同步库表信息描述

被如下接口引用:ConfigureSyncJob, DescribeSyncJobs, ModifySyncJobConfig。

名称 类型 必选 描述
TableName String 表名
NewTableName String 新表名
FilterCondition String 过滤条件
ColumnMode String 是否同步表中所有列,All:当前表下的所有列,Partial(ModifySyncJobConfig接口里的对应字段ColumnMode暂不支持Partial):当前表下的部分列,通过填充Columns字段详细表信息
Columns Array of Column 同步的列信息,当ColumnMode为Partial时,必填
TmpTables Array of String 同步临时表,注意此配置与NewTableName互斥,只能使用其中一种。当配置的同步对象为表级别且TableEditMode为pt时此项有意义,针对pt-osc等工具在同步过程中产生的临时表进行同步,需要提前将可能的临时表配置在这里,否则不会同步任何临时表。示例,如要对t1进行pt-osc操作,此项配置应该为["_t1_new","_t1_old"];如要对t1进行gh-ost操作,此项配置应该为["_t1_ghc","_t1_gho","_t1_del"],pt-osc与gh-ost产生的临时表可同时配置。
TableEditMode String 编辑表类型,rename(表映射),pt(同步附加表)

TableFilter

表级 DDL/DML 过滤信息

被如下接口引用:ConfigureSyncJob, DescribeSyncJobs, ModifySyncJobConfig。

名称 类型 必选 描述
TableName String 规则生效的表名
OpFilter OpFilter 表级 DDL/DML 过滤规则

TableItem

表对象集合,当 TableMode 为 partial 时,此项需要填写

被如下接口引用:DescribeMigrationDetail, ModifyMigrationJob。

名称 类型 必选 描述
TableName String 迁移的表名,大小写敏感
NewTableName String 迁移后的表名,当TableEditMode为rename时此项必填,注意此配置与TmpTables互斥,只能使用其中一种
TmpTables Array of String 迁移临时表,注意此配置与NewTableName互斥,只能使用其中一种。当配置的同步对象为表级别且TableEditMode为pt时此项有意义,针对pt-osc等工具在迁移过程中产生的临时表进行同步,需要提前将可能的临时表配置在这里,否则不会同步任何临时表。示例,如要对t1进行pt-osc操作,此项配置应该为["_t1_new","_t1_old"];如要对t1进行gh-ost操作,此项配置应该为["_t1_ghc","_t1_gho","_t1_del"],pt-osc与gh-ost产生的临时表可同时配置。
TableEditMode String 编辑表类型,rename(表映射),pt(同步附加表)

TagFilter

标签过滤

被如下接口引用:DescribeMigrationJobs, DescribeSubscribeJobs, DescribeSyncJobs。

名称 类型 必选 描述
TagKey String 标签键值
TagValue Array of String 标签值

TagItem

标签

被如下接口引用:CreateMigrationService, CreateSubscribe, CreateSyncJob, DescribeMigrationDetail, DescribeMigrationJobs, DescribeSubscribeDetail, DescribeSubscribeJobs, DescribeSyncJobs, ModifyMigrationJob。

名称 类型 必选 描述
TagKey String 标签键
TagValue String 标签值

TopicRule

单topic和自定义topic的描述。投递到单topic时,该数组的最后一项会被视为默认分区策略,所有未匹配到的数据都会按该策略投递,默认策略只支持 投递至partition0、按表名、表名+主键三种。

被如下接口引用:ConfigureSyncJob, DescribeSyncJobs, ModifySyncJobConfig。

名称 类型 必选 描述
TopicName String topic名。单topic时,所有的TopicName必须相同
PartitionType String topic分区策略,自定义topic时支持:Random(随机投递),集中投递到单Topic时支持:AllInPartitionZero(全部投递至partition0)、PartitionByTable(按表名分区)、PartitionByTableAndKey(按表名加主键分区)、PartitionByCols(按列分区)
DbMatchMode String 库名匹配规则,如Regular(正则匹配), Default(不符合匹配规则的剩余库),数组中最后一项必须为‘Default’
DbName String 库名,DbMatchMode=Regular时生效
TableMatchMode String 表名匹配规则,如Regular(正则匹配), Default(不符合匹配规则的剩余表),数组中最后一项必须为‘Default’
TableName String 表名,仅TableMatchMode=Regular时生效
Columns Array of String 按列分区时需要选择配置列名,可以选择多列
注意:此字段可能返回 null,表示取不到有效值。

TradeInfo

计费状态信息

被如下接口引用:DescribeMigrationDetail, DescribeMigrationJobs。

名称 类型 描述
DealName String 交易订单号
LastDealName String 上一次交易订单号
InstanceClass String 实例规格,包括:micro、small、medium、large、xlarge、2xlarge等
TradeStatus String 计费任务状态, normal(计费或待计费)、resizing(变配中)、reversing(冲正中,比较短暂的状态)、isolating(隔离中,比较短暂的状态)、isolated(已隔离)、offlining(下线中)、offlined(已下线)、notBilled(未计费)
ExpireTime String 到期时间,格式为"yyyy-mm-dd hh:mm:ss"
OfflineTime String 下线时间,格式为"yyyy-mm-dd hh:mm:ss"
IsolateTime String 隔离时间,格式为"yyyy-mm-dd hh:mm:ss"
OfflineReason String 下线原因
IsolateReason String 隔离原因
PayType String 付费类型,包括:postpay(后付费)、prepay(预付费)
BillingType String 任务计费类型,包括:billing(计费)、notBilling(不计费)、 promotions(促销活动中)

View

数据同步view的描述

被如下接口引用:ConfigureSyncJob, DescribeSyncJobs, ModifySyncJobConfig。

名称 类型 必选 描述
ViewName String view名
NewViewName String 预留字段、目前暂时不支持view的重命名

ViewFilter

视图级 DDL/DML 过滤信息

被如下接口引用:ConfigureSyncJob, DescribeSyncJobs, ModifySyncJobConfig。

名称 类型 必选 描述
ViewName String 规则生效的视图名
OpFilter OpFilter 视图级 DDL/DML 过滤规则

ViewItem

视图对象

被如下接口引用:DescribeMigrationDetail, ModifyMigrationJob。

名称 类型 必选 描述
ViewName String 视图名称
NewViewName String 迁移后的视图名称

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈