tencent cloud

云函数

动态与公告
产品动态
产品公告
新手指引
产品简介
产品概述
相关概念
工作原理
产品优势
应用场景
相关产品
购买指南
计费概述
计费方式
计费项与计费方式
函数算力支持
免费额度
产品定价
计费示例
欠费与停服说明
快速入门
使用控制台创建一个事件函数
操作指南
配额管理
函数管理
Web 函数管理
日志管理
并发管理
触发器管理
函数 URL
自定义域名
版本管理
别名管理
权限管理
运行实例管理
插件管理
监控与告警管理
网络配置
层管理
执行配置
扩展存储管理
DNS 缓存配置
资源托管模式管理
近离线资源托管模式
工作流
触发器
触发器概述
触发器事件消息结构汇总
API 网关触发器
COS 触发器
CLS 触发器
定时触发器
CKafka 触发器
Apache Kafka 触发器
MQTT 触发器
触发器配置描述
MPS 触发器
CLB 触发器说明
云 API 触发器
开发指南
基本概念
测试云函数
环境变量
依赖安装
使用容器镜像
使用 Docker 安装依赖
错误类型与重试策略
死信队列
云函数接入数据库
自动化部署
云函数状态码
常见错误码解决方法
开发者工具
Serverless Web IDE
函数间调用 SDK
第三方工具
代码开发
Python
Node.js
Golang
PHP
Java
Custom Runtime
使用镜像部署函数
Web 框架部署
通过命令行完成框架部署
快速部署 Egg 框架
快速部署 Express 框架
快速部署 Flask 框架
快速部署 Koa 框架
快速部署 Laravel 框架
快速部署 Nestjs 框架
快速部署 Nextjs 框架
快速部署 Nuxtjs 框架
快速部署 Django 框架
实践教程
最佳实践概述
云产品联合解决方案
业务开发相关实践
实时音视频 TRTC
对象存储 COS
消息队列 CKafka
日志服务CLS
负载均衡 CLB
视频处理 MPS
内容分发网络 CDN
云数据仓库 PostgreSQL
云点播 VOD
短信 SMS
Elasticsearch Service
定时任务
视频处理
客户案例
腾讯在线教育
在线教育行业案例
游戏聊天系统
腾讯互娱国际(IEGG)
API 文档
History
Introduction
API Category
Making API Requests
Other APIs
Namespace APIs
Layer Management APIs
Async Event Management APIs
Trigger APIs
Function APIs
函数和层的状态说明
Data Types
Error Codes
SDK文档
常见问题
通用问题
Web 函数相关问题
计费相关问题
网络相关问题
日志相关问题
SCF 工具相关问题
事件处理相关问题
API 网关触发器相关问题
相关协议
Service Level Agreement
联系我们
词汇表
文档云函数实践教程消息队列 CKafkaSCF + Ckafka 实现消息转储至消息队列 Ckafka

SCF + Ckafka 实现消息转储至消息队列 Ckafka

PDF
聚焦模式
字号
最后更新时间: 2024-12-02 21:04:04

操作场景

消息队列 CKafka 支持用户转储消息的能力,您可以将 CKafka 消息转储同步转储至消息队列 CKafka,用于 CKafka 集群间的数据同步。

前提条件

该功能目前依赖云函数(SCF)、消息队列 CKafka 服务。使用时需提前开通云函数 SCF 相关服务及功能。

操作步骤

转储消息

转储消息队列 CKafka 的方案将使用 SCF 的 CKafka 触发器进行,通过 CKafka 触发器将消息同步至消息队列另一个集群内。
1. 登录 CKafka 控制台
2. 在左侧导航栏单击实例列表,单击目标实例的“ID/名称”,进入实例详情页。
3. 在实例详情页,单击topic管理标签页,单击操作列的消息转储
4. 单击添加消息转储,选择转储类型为消息队列(CKafka)
转储类型:选择消息队列(CKafka)
转储实例:拉取当前地域的 CKafka 实例列表,如需转储至其他地域或自建 Kafka 请参见 自定义转储设置
转储 Topic:拉取所选实例的 CKafka Topic 信息。
起始位置:转储时历史消息的处理方式,topic offset 设置。
角色授权:使用云函数 SCF 产品功能,您需要授予一个第三方角色代替您执行访问相关产品权限。
云函数授权:知晓并同意开通创建云函数,该函数创建后需用户前往云函数设置更多高级配置及查看监控信息。
5. 创建完成后,单击提交,即可完成转储创建。创建完成后不会立即开启转储,需在控制台手动开启。

自定义转储设置

在通用创建流程中,无法直接跨地域或对自建 Kafka 进行转储,需对函数进行相关网络或投递信息设置。跨地域转储操作流程如下:
1. 新建 CKafka 转储模板,并跳转到云函数控制台,投递实例及 Topic 可任意填写。
2. 在函数配置中修改环境变量所属网络配置。
环境变量配置说明: kafka_address :Kafka IP 地址 kafka_topic_name: Kafka Topic 名称
说明:
如 CKafka 跨地域转储,修改相关环境变量即可,VPC 网络需配置 对等连接
如 CVM 自建 Kafka,需修改为与自建 Kafka 相同的 VPC 及 Kafka Topic 信息。
如其他自建 Kafka,需修改环境变量的 IP 及 Topic 信息为自建信息;如无专线需用云函数公网传输。
3. 保存相关配置,并开启转储功能可完成转储。

更多配置说明

接入方式

云函数支持 CKafka 的 PLAINTEXTSASL_PLAINTEXT 两种接入方式,可在云函数代码中自行修改。
PLAINTEXT 接入方式:
kafka_to_kafka = KafkaToKafka(kafka_address)
SASL_PLAINTEXT 接入方式
kafka_to_kafka= KafkaToKafka(
kafka_address
security_protocol = "SASL_PLAINTEXT",
sasl_mechanism="PLAIN",
sasl_plain_username="ckafka-80o10xxx#Taborxx",
sasl_plain_password="Taborxxxx",
api_version=(0, 10, 2)
)
说明:
sasl_plain_username 包含实例 ID用户名,使用 # 拼接。

转储日志查看及排障

CKafka 转储能力基于 SCF 实现,可在 SCF 日志中查询到相关转储的信息及转储状态。

产品限制和费用计算

转储速度与 CKafka 实例峰值带宽上限有关,如出现消费速度过慢,请检查 Ckafka 实例的峰值带宽。
CKafkaToCKafka 方案采用 CKafka 触发器,重试策略与最大消息数等设置参见 CKafka 触发器
使用消息转储 CKafka 能力,默认转储的信息为 CKafka 触发器的 offset,msgBody 数据,如需自行处理参见 CKafka 触发器的事件消息结构
该功能基于云函数 SCF 服务提供。SCF 为用户提供了一定 免费额度,超额部分产生的收费,请以 SCF 服务的 计费规则 为准。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈