tencent cloud

文档反馈

连接器概述

最后更新时间:2024-01-09 14:54:11

    什么是 CKafka 连接器

    CKafka 连接器是腾讯云上 SaaS 化的数据接入和处理工具,可以方便快捷地完成一站式的数据接入、处理和分发。连接器提供基于 HTTP/TCP 协议的 SDK 协助客户快速完成数据上报、基于 CDC(Change Data Capture)机制快速订阅、存储多款数据库(MySQL、PostgreSQL、MongoDB 等)变更信息,打通了多款云产品的日志投递。并提供了简单可配置的数据清洗(ETL)能力,以及丰富的数据流出渠道,协助客户低成本搭建数据流转链路,构建数据源和数据处理系统间的桥梁。
    CKafka 连接器旨在做好云上、云下(跨云、混合云)场景的数据连接,提供 SaaS 化的、简单可配置的、低成本的数据流转能力。打造一条可靠的、稳定的数据链路。

    连接器功能

    数据上报

    CKafka 连接器提供基于 HTTP/TCP 协议的客户端 SDK,方便客户将数据上报到多款消息队列(Kafka、Pulsar、RocketMQ 等),屏蔽数据上报 Server 端的开发维护成本和多种消息队列的复杂协议理解和 SDK 使用成本,简化数据上报流程,SaaS 化地完成数据的上报。

    数据库变更信息订阅

    CKafka 连接器支持基于 CDC(Change Data Capture)机制订阅多款数据库的变更数据。例如订阅 MySQL的 Binlog,MongoDB 的 Change Stream,PostgreSQL 的行级的数据变更(Row-level Change),SQL Server 的行级的数据变更(Row-level Change)等,将这些数据订阅到消息队列中,方便业务上对这些数据的处理、分发、查询等。

    集成丰富的数据源

    CKafka 连接器旨在打通腾讯公有云、跨云、混合云场景下的数据连接。支持云上多款云产品的日志接入、支持用户自建场景的数据源接入、支持跨云场景的数据源接入等。目前已打通日志、数据库、中间件、HTTP 等多种场景的数据接入。

    数据清洗/数据流出

    当完成数据上报,数据进入到消息队列时,CKafka 连接器提供了强大的、界面化的数据 ETL 配置能力,方便快捷的完成数据的清洗、格式化、数据格式转换等操作。并支持将完成 ETL 处理的数据,转储到下游

    Serverless 自定义处理

    CKafka 连接器基于 Serverless 平台的优势,依托 Serverless Function 的按量计费、用户自编码能力,支持用户基于 Serverless Function 自定义的完成业务逻辑的编写,完成自定义的数据处理分发功能。
    
    
    
    

    

    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持