tencent cloud

消息队列 CKafka 版

动态与公告
新功能发布记录
Broker 版本升级记录
公告
产品简介
TDMQ 产品系列介绍与选型
什么是消息队列 CKafka 版
产品优势
应用场景
技术架构
产品系列介绍
开源 Kafka 版本支持说明
与开源 Kafka 对比
高可用
使用限制
地域和可用区
相关云服务
产品计费
计费概述
价格说明
计费示例
按小时付费转包年包月
续费说明
查看消费明细
欠费说明
退费说明
快速入门
入门流程指引
准备工作
VPC 网络接入
公网域名接入
用户指南
使用流程指引
配置账号权限
创建实例
配置 Topic
连接实例
管理消息
管理消费组
管理实例
变更实例规格
配置限流
配置弹性伸缩策略
配置高级特性
查看监控和配置告警
使用连接器同步数据
实践教程
集群资源评估
客户端实践教程
日志接入
开源生态对接
替换支撑路由(旧)
迁移指南
迁移方案概述
使用开源工具迁移集群
故障处理
Topic 相关
客户端相关
消息相关
API 参考
History
Introduction
API Category
Making API Requests
Other APIs
ACL APIs
Instance APIs
Routing APIs
DataHub APIs
Topic APIs
Data Types
Error Codes
SDK 参考
SDK 概述
Java SDK
Python SDK
Go SDK
PHP SDK
C++ SDK
Node.js SDK
连接器相关 SDK
安全与合规
权限管理
网络安全
删除保护
事件记录
云 API 审计
常见问题
实例相关
Topic 相关
Consumer Group 相关
客户端相关
网络问题
监控相关
消息相关
服务协议
服务等级协议
联系我们
词汇表

VPC 网络接入

PDF
聚焦模式
字号
最后更新时间: 2026-01-05 15:20:00

操作场景

本文以在 VPC 网络环境下调用 Java SDK 为例介绍接入消息队列 CKafka 版并收发消息的操作过程,帮助您更好地理解消息收发的完整过程。

前提条件

已参考 SDK 概述,获取相关的客户端连接参数

操作步骤

步骤1:准备配置

1. 将下载的 Demo 中的 javakafkademo 上传至 Linux 服务器。
2. 登录 Linux 服务器,进入 javakafkademo 目录,并配置相关参数。
2.1 在 pom.xml 中添加以下依赖。
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>2.4.1</version>
</dependency>
2.2 创建消息队列 CKafka 版配置文件 kafka.properties。
## 配置接入网络,在控制台的实例详情页面接入方式模块的网络列复制。
bootstrap.servers=xx.xx.xx.xx:xxxx
## 配置Topic,在控制台上topic管理页面复制。
topic=XXX
## 配置Consumer Group,您可以自定义设置
group.id=XXX
参数
说明
bootstrap.servers
接入网络,在控制台的实例基本信息页面的接入方式模块的网络列复制。
topic
Topic 名称,您可以在控制台上 topic 列表页面复制。
group.id
您可以自定义设置,demo 运行成功后可以在 Consumer Group 页面看到该消费者。
3. 创建配置文件加载程序 CKafkaConfigurer.java。
public class CKafkaConfigurer {

private static Properties properties;

public synchronized static Properties getCKafkaProperties() {
if (null != properties) {
return properties;
}
//获取配置文件kafka.properties的内容。
Properties kafkaProperties = new Properties();
try {
kafkaProperties.load(CKafkaProducerDemo.class.getClassLoader().getResourceAsStream("kafka.properties"));
} catch (Exception e) {
System.out.println("getCKafkaProperties error");
}
properties = kafkaProperties;
return kafkaProperties;
}
}

步骤2:发送消息

1. 编写生产消息程序 CKafkaProducerDemo.java。
public class CKafkaProducerDemo {

public static void main(String args[]) {
//加载kafka.properties。
Properties kafkaProperties = CKafkaConfigurer.getCKafkaProperties();

Properties properties = new Properties();
//设置接入点,请通过控制台获取对应Topic的接入点。
properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, kafkaProperties.getProperty("bootstrap.servers"));

//消息队列Kafka版消息的序列化方式, 此处demo 使用的是StringSerializer。
properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
"org.apache.kafka.common.serialization.StringSerializer");
properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,
"org.apache.kafka.common.serialization.StringSerializer");
//请求的最长等待时间。
properties.put(ProducerConfig.MAX_BLOCK_MS_CONFIG, 30 * 1000);
//设置客户端内部重试次数。
properties.put(ProducerConfig.RETRIES_CONFIG, 5);
//设置客户端内部重试间隔。
properties.put(ProducerConfig.RECONNECT_BACKOFF_MS_CONFIG, 3000);
//构造Producer对象。
KafkaProducer<String, String> producer = new KafkaProducer<>(properties);

//构造一个消息队列Kafka版消息。
String topic = kafkaProperties.getProperty("topic"); //消息所属的Topic,请在控制台申请之后,填写在这里。
String value = "this is ckafka msg value"; //消息的内容。

try {
//批量获取Future对象可以加快速度, 但注意, 批量不要太大。
List<Future<RecordMetadata>> futureList = new ArrayList<>(128);
for (int i = 0; i < 10; i++) {
//发送消息,并获得一个Future对象。
ProducerRecord<String, String> kafkaMsg = new ProducerRecord<>(topic,
value + ": " + i);
Future<RecordMetadata> metadataFuture = producer.send(kafkaMsg);
futureList.add(metadataFuture);

}
producer.flush();
for (Future<RecordMetadata> future : futureList) {
//同步获得Future对象的结果。
RecordMetadata recordMetadata = future.get();
System.out.println("produce send ok: " + recordMetadata.toString());
}
} catch (Exception e) {
//客户端内部重试之后,仍然发送失败,业务要应对此类错误。
System.out.println("error occurred");
}
}
}
2. 编译并运行 CKafkaProducerDemo.java 发送消息。
3. 运行结果。
Produce ok:ckafka-topic-demo-0@198
Produce ok:ckafka-topic-demo-0@199
4. CKafka 控制台Topic 列表页面,选择对应的 Topic ,单击更多 > 消息查询,查看刚刚发送的消息。


步骤3:消费消息

1. 创建 Consumer 订阅消息程序 CKafkaConsumerDemo.java。
public class CKafkaConsumerDemo {

public static void main(String args[]) {
//加载kafka.properties。
Properties kafkaProperties = CKafkaConfigurer.getCKafkaProperties();

Properties props = new Properties();
//设置接入点,请通过控制台获取对应Topic的接入点。
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, kafkaProperties.getProperty("bootstrap.servers"));
//心跳检测允许的最大时间间隔。
//消费者超过该值没有返回心跳,服务端判断消费者处于非存活状态,服务端将消费者从Consumer Group移除并触发Rebalance,默认30s。
props.put(ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG, 30000);
//每次Poll的最大数量。
//注意该值不要改得太大,如果Poll太多数据,而不能在下次Poll之前消费完,则会触发一次负载均衡,产生卡顿。
props.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, 30);
//消息的反序列化方式。
props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG,
"org.apache.kafka.common.serialization.StringDeserializer");
props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,
"org.apache.kafka.common.serialization.StringDeserializer");
//属于同一个组的消费实例,会负载消费消息。
props.put(ConsumerConfig.GROUP_ID_CONFIG, kafkaProperties.getProperty("group.id"));
//构造消费对象,也即生成一个消费实例。
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
//设置消费组订阅的Topic,可以订阅多个。
//如果GROUP_ID_CONFIG是一样,则订阅的Topic也建议设置成一样。
List<String> subscribedTopics = new ArrayList<>();
//如果需要订阅多个Topic,则在这里添加进去即可。
//每个Topic需要先在控制台进行创建。
String topicStr = kafkaProperties.getProperty("topic");
String[] topics = topicStr.split(",");
for (String topic : topics) {
subscribedTopics.add(topic.trim());
}
consumer.subscribe(subscribedTopics);

//循环消费消息。
while (true) {
try {
ConsumerRecords<String, String> records = consumer.poll(1000);
//必须在下次Poll之前消费完这些数据, 且总耗时不得超过 MAX.POLL.INTERVAL.MS ,该参数默认值为 300 秒。
//建议开一个单独的线程池来消费消息,然后异步返回结果。
for (ConsumerRecord<String, String> record : records) {
System.out.println(
String.format("Consume partition:%d offset:%d", record.partition(), record.offset()));
}
} catch (Exception e) {
System.out.println("consumer error!");
}
}
}
}
2. 编译并运行 CKafkaConsumerDemo.java 消费消息。
3. 运行结果。
Consume partition:0 offset:298
Consume partition:0 offset:299
4. CKafka 控制台Consumer Group 页面,选择对应的消费组名称,在主题名称输入 Topic 名称,单击查看详情,查看消费详情。



帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈