tencent cloud

消息队列 CKafka 版

动态与公告
新功能发布记录
Broker 版本升级记录
公告
产品简介
TDMQ 产品系列介绍与选型
什么是消息队列 CKafka 版
产品优势
应用场景
技术架构
产品系列介绍
开源 Kafka 版本支持说明
与开源 Kafka 对比
高可用
使用限制
地域和可用区
相关云服务
产品计费
计费概述
价格说明
计费示例
按小时付费转包年包月
续费说明
查看消费明细
欠费说明
退费说明
快速入门
入门流程指引
准备工作
VPC 网络接入
公网域名接入
用户指南
使用流程指引
配置账号权限
创建实例
配置 Topic
连接实例
管理消息
管理消费组
管理实例
变更实例规格
配置限流
配置弹性伸缩策略
配置高级特性
查看监控和配置告警
使用连接器同步数据
实践教程
集群资源评估
客户端实践教程
日志接入
开源生态对接
替换支撑路由(旧)
迁移指南
迁移方案概述
使用开源工具迁移集群
故障处理
Topic 相关
客户端相关
消息相关
API 参考
History
Introduction
API Category
Making API Requests
Other APIs
ACL APIs
Instance APIs
Routing APIs
DataHub APIs
Topic APIs
Data Types
Error Codes
SDK 参考
SDK 概述
Java SDK
Python SDK
Go SDK
PHP SDK
C++ SDK
Node.js SDK
连接器相关 SDK
安全与合规
权限管理
网络安全
删除保护
事件记录
云 API 审计
常见问题
实例相关
Topic 相关
Consumer Group 相关
客户端相关
网络问题
监控相关
消息相关
服务协议
服务等级协议
联系我们
词汇表

方案1:单写双消费迁移

PDF
聚焦模式
字号
最后更新时间: 2026-01-20 16:21:51

操作场景

本文主要介绍使用单写双消费方案将自建 Kafka 集群的数据迁移到 CKafka 中的方法。

前提条件

操作步骤

对于数据有序性要求不高的情况下,可以采用多个消费者并行消费的方式进行切换。
单写双消费的方式简单清晰便于操作且无数据积压,平滑过渡; 但是需要业务侧新增一套消费者。
其迁移步骤如下所示:

1. 旧的消费者保持不动,消费端新起消费者,配置新的集群的 bootstrap-server,消费新的 CKafka 集群。 需要配置 --bootstrap-server 中的 IP 为 CKafka 实例的接入网络,在控制台的实例详情页面接入方式模块的网络列复制。
./kafka-console-consumer.sh --bootstrap-server xxx.xxx.xxx.xxx:9092 --from-beginning --new-consumer --topic topicName --consumer.config ../config/consumer.properties
2. 切换生产流,生产者将数据生产到 CKafka 实例。 修改 broker-list 中的 IP 为 CKafka 实例的接入网络,topicName 为 CKafka 实例中的 Topic 名称:
./kafka-console-producer.sh --broker-list xxx.xxx.xxx.xxx:9092 --topic topicName
3. 原有消费者无需特殊配置,继续消费自建 Kafka 集群的数据。当原有自建集群的数据消费完成后,即迁移完毕。
注意:
上文给出的是测试命令,正式业务的运行只需要修改相应应用程序配置的 broker 地址,然后重启相应的应用即可。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈