CKafka(Tencent Cloud CKafka)는 높은 처리량을 자랑하는 분산식의 고확장성 메시징 시스템으로, 오픈 소스 Kafaka API(0.9 및 0.10버전)와 100% 호환됩니다. CKafka는 배포와 구독 모드를 기반으로 탈동조화를 통해 생산자와 소비자간 비동기화 상태로 인터렉션을 바로 지원합니다. CKafka는 데이터 압축의 장점을 가지고 있으며 오프라인 및 실시간 데이터 모니터링과 취합, 로그 압축 수집 등의 처리를 지원합니다.
특징
오픈 소스 호환
Apache Kafka 0.9 및 0.10 버전과 100% 호환되며 클라우드로 마이그레이션할 필요가 없습니다. 업/다운 스트리밍 모듈과 호환되고 Kafka Streams 및 Kafka Connect, KSQL을 완벽하게 지원합니다.
업/다운 스트리밍
EMR, COS, 용량, 스트리밍 컴퓨팅, 서버리스 함수 및 로그 서비스(CLS) 등과 같은 13종 이상의 클라우드 제품에 액세스를 지원하여 간편하게 배포할 수 있습니다.
높은 신뢰성
CKafka 클러스터는 훌륭한 성능과 오픈 소스 솔루션을 뛰어넘는 생산성을 갖추고 있습니다. 이외에도 CKafka의 분산식 배포는 클러스터의 안정성을 보장합니다.
고확장성
클러스터의 수평적 확장 및 인스턴스의 완벽한 업그레이드를 지원합니다. 기본 시스템은 서비스 규모에 따라 자동으로 탄력적으로 확장되며 상위 서비스는 인식하지 못합니다.
업무 보안
테넌트 간의 네트워크 및 인스턴스의 네트워크 액세스는 격리됩니다. 관리 스트림의 CAM 인증과 데이터 스트림의 SASL 권한 컨트롤을 지원하며 액세스 권한을 엄격히 제한합니다.
통합 OPS 모니터링
Tencent Cloud 플랫폼은 테넌트 격리, 권한 컨트롤, 메시지 스태킹 쿼리, 소비자 상세정보 보기, 다중 모니터링 및 알림 등의 OPS 서비스를 포함한 전체적인 운영 및 관리 서비스를 제공합니다.
기능
탈동조화
시스템 견고성
수평 확장성
1회 생성과 다중 소비
탈동조화
CKafka는 생산자와 소비자의 관계를 효율적으로 분리할 수 있습니다. 인터페이스 상의 제약사항을 동일하게 준수하면 사용자는 생산과 소비를 개별적으로 확장하거나 수정할 수 있습니다.
CKafka는 기존 메시지의 미들웨어를 원활히 교체할 수 있습니다. 생산자와 소비자 간 탈동조화를 지원하고 처리 대기중인 메세지를 캐싱하는 동안 CKafka는 더 많은 처리량과 보다 강력한 파티션 복제 메커니즘 및 내결함성을 제공합니다.
시스템 견고성
액세스량이 급증하는 경우에도 시스템은 안정적으로 대응해야 합니다. 다만 트래픽이 급증하는 경우는 흔치 않으며 액세스 피크타임을 기준으로 리소스를 투입할 경우, 리소스 낭비를 초래할 수 있습니다.
CKafka 사용하면 시스템의 핵심 구성 모듈이 돌발적인 액세스 부하에 대처할 수 있고 과부하로 인해 시스템이 중단되지 않습니다.
수평 확장성
메시지 처리가 분리되어 있기 때문에 처리의 수평적 확장으로만 메시지의 추가 및 처리 효율을 효과적으로 높일 수 있습니다. 구체적인 구현 관련하여 CKafka의 주제는 여러 파티션으로 구분되어 한 개 이상의 브로커에 분배될 수 있습니다. </p><p> 소비자는 하나 이상의 파티션을 구독 할 수 있으며 생산자는 해당 파티션에 메시지를 배포를 담당합니다. 브로커의 수를 늘리면 클러스터를 수평적으로 확장할 수 있습니다. 일반적으로 브로커 수가 증가하면 클러스터의 처리량도 늘어납니다.
1회 생성과 다중 소비
CKafka는 대열, 게시, 구독 등 다양한 모드를 지원합니다. 주제는 파티션 개념으로 다른 파티션은 다른 브로커에 따라 처리량을 효과적으로 늘릴 수 있습니다. 또한 CKafka는 배포 및 구독 모드와 다중 대기 모드를 지원합니다. 하나의 노드에는 하나의 주제만 저장할 수 있으며, 다른 소비 그룹은 자체 소비 기록에 대한 데이터를 관리합니다.
기능
탈동조화
CKafka는 생산자와 소비자의 관계를 효율적으로 분리할 수 있습니다. 인터페이스 상의 제약사항을 동일하게 준수하면 사용자는 생산과 소비를 개별적으로 확장하거나 수정할 수 있습니다.
CKafka는 기존 메시지의 미들웨어를 원활히 교체할 수 있습니다. 생산자와 소비자 간 탈동조화를 지원하고 처리 대기중인 메세지를 캐싱하는 동안 CKafka는 더 많은 처리량과 보다 강력한 파티션 복제 메커니즘 및 내결함성을 제공합니다.
시스템 견고성
액세스량이 급증하는 경우에도 시스템은 안정적으로 대응해야 합니다. 다만 트래픽이 급증하는 경우는 흔치 않으며 액세스 피크타임을 기준으로 리소스를 투입할 경우, 리소스 낭비를 초래할 수 있습니다.
CKafka 사용하면 시스템의 핵심 구성 모듈이 돌발적인 액세스 부하에 대처할 수 있고 과부하로 인해 시스템이 중단되지 않습니다.
수평 확장성
메시지 처리가 분리되어 있기 때문에 처리의 수평적 확장으로만 메시지의 추가 및 처리 효율을 효과적으로 높일 수 있습니다. 구체적인 구현 관련하여 CKafka의 주제는 여러 파티션으로 구분되어 한 개 이상의 브로커에 분배될 수 있습니다. </p><p> 소비자는 하나 이상의 파티션을 구독 할 수 있으며 생산자는 해당 파티션에 메시지를 배포를 담당합니다. 브로커의 수를 늘리면 클러스터를 수평적으로 확장할 수 있습니다. 일반적으로 브로커 수가 증가하면 클러스터의 처리량도 늘어납니다.
1회 생성과 다중 소비
CKafka는 대열, 게시, 구독 등 다양한 모드를 지원합니다. 주제는 파티션 개념으로 다른 파티션은 다른 브로커에 따라 처리량을 효과적으로 늘릴 수 있습니다. 또한 CKafka는 배포 및 구독 모드와 다중 대기 모드를 지원합니다. 하나의 노드에는 하나의 주제만 저장할 수 있으며, 다른 소비 그룹은 자체 소비 기록에 대한 데이터를 관리합니다.
응용 시나리오
로그 분석 시스템
플로우 데이터 처리 플랫폼
CKafka는 EMR와 결합하여 보다 완벽한 로그 분석 시스템을 구축하였습니다. 클라이언트에 배포된 에이전트를 통해 로그를 수집하고 데이터를 CKafka에 취합합니다. 다음, Spark와 같은 백엔드의 빅데이터 컴포넌트를 통해 여러 데이터 소비를 계산하고 네이티브 로그를 정리, 저장 또는 이미지화를 통해 표시합니다.
CKafka는 실시간/오프라인 데이터 처리 및 이상 점검을 위해 스트리밍 컴퓨팅 SCC를 결합해 다양한 상황에 맞춰 사용할 수 있습니다.
실시간으로 데이터를 분석하고 표시하며 이상 사항을 감지해 시스템 상의 문제를 빠르게 확인합니다.
소비 내역 데이터는 저장 및 오프라인 분석을 통해 데이터를 2차 가공하고 리포트를 생성합니다.
가격
Ckafka는 종량제 또는 월정액/연정액 두가지 과금 방식을 지원합니다. 자세한 내용은 과금 개요를 참조 바랍니다.