使用 DTS 进行迁移

最后更新时间:2021-03-17 11:53:40

    DTS 简介

    腾讯云数据传输服务(Data Transmission Service,DTS)是提供数据迁移、数据同步、数据订阅于一体的数据库数据传输服务。帮助您在业务不停服的前提下轻松完成数据库迁移,利用实时同步通道轻松构建异地容灾的高可用数据库架构,利用数据订阅提供的云数据库实时增量更新数据,用户可根据自身业务需求自由消费增量数据。 DTS for Redis 目前支持各种网络场景、各种版本的 Redis 数据迁移。

    术语 说明
    源实例 迁移的源实例。
    目标实例 迁移的目标实例,即用户购买的腾讯云数据库 Redis。
    CVM 自建 用户在腾讯云服务器上部署的 Redis 服务。
    公网自建 用户在外网环境下部署的 Redis 服务。

    迁移支持说明

    说明:

    单机版迁移内存版(集群架构)兼容性问题请参见 单机版迁移集群版说明

    支持功能

    • 数据迁移:DTS 迁移服务支持一次性将数据迁移到云上。
    • 数据同步:DTS 迁移服务支持全量迁移 + 增量同步的方式将数据实时同步到云上。

    支持版本

    • DTS 迁移服务支持的版本包括 Redis 2.8、3.0、3.2、4.0、5.0。
    • 支持的架构包括单节点、redis cluster、codis、twemproxy。
    • 迁移权限要求:DTS 迁移数据需要源实例支持 SYNC 或者 PSYNC 命令。

    支持网络

    DTS 迁移服务支持常见的网络迁移,包括公网、CVM 自建、专线接入、VPN 接入、云联网场景下的数据迁移与数据同步。

    支持场景

    • 上云迁移:支持将您在传统 IDC 的 Redis 迁移到云数据库 Redis,帮助您的业务高效、便捷的完成上云迁移。
    • 云上自建迁移:支持将您在腾讯云或者其他云上,通过虚拟机自建的 Redis 服务迁移到腾讯云。
    • 其他云厂商 Redis 服务迁移:支持将其他云厂商提供的 Redis 数据迁移到腾讯云,前提条件是云厂商需要提供 SYNC 或者 PSYNC 命令权限。
    • 云实例间迁移:支持在云实例间进行数据迁移或者实时同步,支持的版本如下:
               目标实例
    源实例
    2.8内存版(标准架构) 4.0内存版(标准架构) 4.0内存版(集群架构) 5.0内存版(标准架构) 5.0内存版(集群架构)
    2.8内存版(标准架构)
    4.0内存版(标准架构) x
    4.0内存版(集群架构) x
    5.0内存版(标准架构) x x x
    5.0内存版(集群架构) x x x

    迁移限制

    • 为保障迁移效率,CVM 自建实例迁移不支持跨地域迁移。
    • 外网实例迁移时,需确保源实例服务在外网环境下可访问。
    • 进行迁移任务时,只允许迁移正常运行状态下的实例,未初始化密码或者有其他任务在执行中的实例,不能迁移。
    • 目标实例必须是没有数据的空实例,迁移过程中,目标实例会被设置为只读,不能对实例进行写入操作。
    • 迁移成功时,由业务侧验证数据后,可断开源实例连接,将连接切换到目标实例。

    迁移过程

    1. 新建迁移任务

    1)登录 DTS 控制台,在数据迁移页,单击【新建迁移任务】。
    2)在“链路地域”选择对应地域,单击【0美元购买】。

    2. 设置任务

    • 任务名称:为任务指定名称。
    • 定时执行:为迁移任务指定开始时间。

      说明:

      • 修改定时任务,校验通过后,需要重新单击【定时启动】,任务才会定时启动。
      • 如果任务过了定时启动的时间,定时启动会变为立即启动,单击【立即启动】,会立刻启动任务。

    3. 设置源库和目标库

    以 CVM 上的 Redis 实例为例说明,外网实例迁移下同。

    字段 描述 备注 必填
    任务名称 迁移任务的名称 方便用户管理任务
    CVM 实例(实例 ID/内网 IP) 源 Redis 实例所在的腾讯云服务器 ID和内网 IP 迁移任务会根据 CVM 实例 ID,检查云服务器运行情况,及检查云服务器内网 IP
    端口 源实例端口号 迁移任务会访问源实例服务
    密码 源实例密码 访问源实例服务时,有 auth 鉴权
    数据库实例 ID 目标实例 ID 同步数据到目标实例

    集群版迁移说明
    DTS 服务支持 Redis 集群版迁移,不论是 Redis Cluster、Codis 或者是 twemproxy 架构的集群方案,只需要在 DTS 任务创建的节点信息中,将原集群的所有分片节点地址以及密码填入节点信息即可,强烈建议从源实例的副本节点(从节点)进行数据迁移,避免影响源实例的业务访问。DTS支持无密码迁移,迁移填充信息参考如下:

    4. 启动迁移任务

    1)网络连通性测试成功,单击【保存】。
    2)DTS 服务将开始检验迁移任务,满足迁移条件后,即可启动迁移任务。
    3)启动任务后,任务状态变为【校验中】,任务会再做一次参数校验,校验期间只能取消任务、查看任务和查看校验情况。
    4)参数校验成功后,数据开始迁移。
    数据同步阶段,会展示数据偏移量、源实例、目标实例 key 变化情况。

    5. 设置迁移告警

    DTS 服务支持迁移中断告警,以便及时了解到迁移任务的异常,迁移告警配置流程如下:
    1)登录 云监控控制台,在左侧导航选择【告警配置】>【告警策略】页面。
    2)单击【新增】新建策略,进行告警策略配置。

    • 策略类型:选择【数据传输服务】>【自建迁移】。
    • 告警对象:选择需要监控的 DTS 任务,配置【触发条件】和【告警对象】完成告警配置。

    6. 完成迁移任务

    断开同步前,可在目标实例上验证数据,如果验证无误,即可完成迁移任务。
    当源实例和目标实例的 key 同步一致时,单击【完成】确定,即可完成数据同步操作。