TDMQ 消息备份

最后更新时间:2021-06-02 11:29:45

    简介

    TDMQ 消息备份是腾讯云对象存储(Cloud Object Storage,COS)基于 云函数(Serverless Cloud Function,SCF) 为用户提供的 TDMQ 消息转存至 COS 的功能,可以协助用户将 TDMQ 消息进行转存以便于对数据进行分析与下载等操作。

    TDMQ 是基于 Apache 开源项目 Pulsar 自研的金融级分布式消息中间件,具备跨城高一致、高可靠、高并发的特性。

    用户在指定存储桶配置了备份函数规则后,当 TDMQ 产生消息时,云函数会按照一定的时间粒度获取消息并转存至 COS 存储桶中。

    注意事项

    • 若您此前在对象存储控制台上为存储桶添加了 TDMQ 消息备份规则,可以在 云函数控制台 上看到您所创建的 TDMQ 消息备份函数,请不要删除该函数,否则可能导致您的规则不生效。
    • 当前 TDMQ 消息备份至 COS 支持以下地域:广州、上海、中国香港、北京、成都、新加坡、硅谷。

    操作步骤

    1. 登录 对象存储控制台
    2. 在左侧导航中,单击【应用集成】,找到【TDMQ 消息备份】。
    3. 单击【配置备份规则】,进入规则配置页面。
    4. 单击【添加函数】。
      注意:

      如果您尚未开通云函数服务,请前往 云函数控制台 开通云函数服务,按照提示完成服务授权即可。

    5. 在弹出的窗口中,配置如下信息:
      • 函数名称:作为函数的唯一标识名称,创建后不可修改。您可以在 云函数控制台 上查看该函数。
      • 关联存储桶:存放 TDMQ 消息的 COS 存储桶。
      • 时间粒度:根据消息量的大小,选取汇聚消息的时间间隔,时间间隔为5 - 15分钟不等。单个消息文件最大限制为5000条,消息文件最大限制为500MB。
      • SCF 授权:TDMQ 消息备份需要授权云函数从您的 TDMQ 服务中读取相关消息,并将消息转存至您指定的存储桶中。因此需要添加此授权。
    6. 单击【下一步】,进行 TDMQ 配置,配置项说明如下:
      • 集群选择:选择消息来源的 TDMQ 集群,仅支持同地域的 TDMQ 集群。
      • 命名空间:选择集群中的命名空间
      • 主题选择:选择消息来源的主题。
      • 订阅选择:选择对应的主题订阅,如现有的订阅不满足需求,可前往 TDMQ 控制台的 消费管理 新建订阅。
      • 起始位置:历史消息的起始位置。
      • 角色选择:选择 TDMQ 角色。TDMQ 的“角色”是 TDMQ 内专有的概念,区别于腾讯云的“角色”,是用户自行在 TDMQ 内部做权限划分的最小单位,用户可以添加多个角色并为其赋予不同命名空间下的生产和消费权限。
      • 角色密钥:选择 TDMQ 的角色密钥。TDMQ 的“密钥”是一种鉴权工具,用户可以通过在客户端中添加密钥来访问 TDMQ 进行消息的生产消费。密钥和角色一一对应,每种角色都有其对应的唯一密钥。
      • 访问地址:必须为 VPC 内网访问地址,TDMQ 集群需接入 VPC。
        注意:

        对应的 VPC 子网中必须有可用的 IP,且必须支持 DHCP。

    7. 单击【下一步】,进行投递配置,配置项说明如下:

    投递的路径:备份文件的投递路径前缀,不填写则默认保存在存储桶根路径,指定前缀必须以斜杠/为结尾。

    1. 添加配置后,单击【确认】,即可看到函数已添加完成。
      您可以对新创建的函数进行如下操作:
      • 单击【查看日志】,查看 TDMQ 消息备份的历史运行情况。当备份出现报错时,您还可以通过单击【查看日志】,快速跳转到云函数控制台查看日志错误详情。
      • 单击【编辑】,修改 TDMQ 消息备份规则。
      • 单击【删除】,删除不使用的 TDMQ 消息备份规则。