배경
기업용으로 설계된 차세대 분산형 데이터베이스 관리 시스템인 TDSQL은 오랫동안 WeChat Pay의 핵심 시스템을 지원하여 WeChat Pay를 고성능과 고가용성을 갖춘 디지털 애플리케이션으로 만들었습니다. 최근 WeChat Pay는 TDSQL for PostgreSQL 기반의 데이터 집약적인 애플리케이션으로 업그레이드되었습니다. SQL 및 단일 테이블에 TB 규모의 데이터를 쉽게 저장할 수 있습니다. TDSQL for PostgreSQL의 높은 처리량, 높은 동시성 및 자동 확장과 같은 기능은 WeChat Pay의 비즈니스 니즈를 완벽하게 충족합니다.
도전과 목표
예를 들어 WeChat Pay의 가맹점 서비스 플랫폼은 수천만 규모의 가맹점에게 세부 청구서 다운로드, 다중 조건 청구서 조회, 통계 분석 기능을 제공합니다. 처음에 플랫폼은 오픈 소스 MySQL 데이터베이스에 데이터를 저장했습니다. 그러나 JD.com 및 기타 대형 가맹점이 플랫폼에 합류하고 거래량이 증가함에 따라, 독립형 데이터베이스의 제한된 데이터 스토리지가 곧 고갈되어 WeChat Pay에 심각한 용량 및 성능 병목 현상이 발생했습니다. 효과적인 솔루션이 절실히 필요했던 WeChat Pay는 TDSQL for PostgreSQL을 선택했습니다.
성숙한 원스톱 데이터베이스 솔루션인 TDSQL for PostgreSQL은 하이브리드 트랜잭션 및 분석 처리(HTAP)가 가능한 분산형 데이터베이스 관리 시스템입니다. Tencent Cloud 데이터베이스 팀의 수년간의 노력 덕분에 오픈 소스 PostgreSQL을 기반으로 기업용으로 개발되었습니다.
Tencent Cloud 솔루션
TDSQL은 WeChat Pay가 직면한 문제에 대한 훌륭한 솔루션입니다. WeChat Pay가 대량의 데이터를 저장할 수 있도록 스토리지의 온라인 선형 확장을 지원하였습니다. 대형 가맹점의 데이터 불균형으로 인한 데이터 왜곡을 방지하기 위해 이중 키 배포와 같은 메커니즘을 채택하여, 모든 쿼리 결과의 페이징에서 기존 웹 애플리케이션이 소요하는 시간을 단축하는 Index only scan을 기반으로 최적화된 쿼리 방법을 제공합니다.
지난 몇 년간 TDSQL for PostgreSQL은 WeChat Pay를 점점 더 많은 시나리오를 지원하는 데이터 집약적인 애플리케이션으로 업그레이드하는 데 도움을 주었고, 비즈니스 안정성과 연속성이 보장된 리포트 시스템 및 차원 테이블 시스템과 같은 많은 분야에서 오픈 소스 MySQL 데이터베이스를 능가했습니다.
WeChat Pay의 리포트 시스템은 두 가지 일반적인 읽기 및 쓰기 모드를 지원합니다. 그 중 하나는 오프라인 컴퓨팅 플랫폼인 Spark를 기반으로 하는 주기적 쓰기(예: 하루에 한 번)입니다. 이 모드에서 매번 기록되는 데이터량은 매우 적거나 수십억 또는 수백억만큼 클 수 있습니다. 다른 하나는 메시지 대기열을 기반으로 한 실시간 쓰기입니다. 이 모드에서 빅 데이터 시스템은 매번 엄청난 양의 데이터를 덤프하므로 기본 데이터 스토리지의 상당히 높은 데이터 쓰기 성능이 필요합니다. 오픈 소스 MySQL 데이터베이스와 비교할 때 TDSQL for PostgreSQL은 병렬 쓰기 성능과 처리량에서 분명한 이점을 보여줍니다. 데이터 쓰기 시간을 크게 줄이고 실시간 리포트 요구 사항을 충족합니다.
더 많은 인덱스 유형을 지원하는 TDSQL for PostgreSQL은 또한 리포트 데이터 읽기에서 오픈 소스 MySQL 데이터베이스를 능가합니다. 예를 들어 WeChat Pay의 수백억 개의 데이터 항목을 고려할 때 오픈 소스 MySQL 데이터베이스에서 판매자 이름에 대한 퍼지 검색 결과를 얻는 데 약 17초가 걸립니다. TDSQL for PostgreSQL로 업그레이드한 후 동일한 작업에 50ms 미만이 소요되어 성능이 크게 향상되었습니다.
협력 성과
지금까지 WeChat Pay는 TDSQL for PostgreSQL에 400TB 이상의 데이터를 저장했습니다. SQL 데이터베이스는 초당 24만개 이상의 요청을 처리하며, 99.6%의 요청의 처리 시간을 10ms 이내에 제어하여 성능 및 안정성에 대한 높은 요구 사항을 완벽하게 충족하였습니다.