tencent cloud

数据传输服务

文档数据传输服务常见问题数据订阅 Kafka 版常见问题

数据订阅 Kafka 版常见问题

PDF
聚焦模式
字号
最后更新时间: 2024-11-01 10:41:11

为什么我消费不到数据?

排查网络问题,Kafka 服务器地址为腾讯云内网地址,只能在腾讯云与订阅实例相同地域的私有网络内访问。
排查订阅 topic、内网地址、消费组名称、账号、密码等是否正确。可在 数据订阅控制台 单击订阅名进入订阅详情页和消费管理页查看。
排查加密参数是否正确,参见 Kafka 使用何种认证机制

数据格式是怎么样的?

数据订阅 Kafka 版使用 Protobuf 进行序列化。Protobuf 协议文件可在 此处 下载,Demo 工程中也包含了协议文件,具体请参考 生产和消费逻辑讲解

Kafka 使用何种认证机制?

如下所示:



何时进行 Kafka commit?

首先请将 Kafka 的 enable_auto_commit 参数设置为 false,以关闭自动 commit。生产者会在消息序列中的合适位置插入 Checkpoint 消息,消费者消费到 Checkpoint 消息后进行 commit,这样有利于保证消息的完整性。

服务端消息保留多久,如何设置消费 offset?

服务端消息保留1天。可以根据需要配置 Kafka 的 auto_offset_reset 参数为 earliest 或者 latest。如果需要从具体的 offset 开始消费,则可以利用 Kafka Client 提供的 seek 功能,重新设置消费 offset。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈