tencent cloud

数据加速器 GooseFS

高性能、低延迟、大吞吐的数据湖加速服务,为数据分析、机器学习等业务加速。

特性
多数据源支持

可对接多种数据源,允许存储任意规模的结构化、半结构化、非结构化数据,同时可以按原样存储数据。

计算弹性

通过计算与存储分离,实现计算资源的弹性伸缩,满足客户对计算资源的灵活调度。

成本最优

为集中式存储池,可快速扩展或缩减存储资源,实现存储数据冷热分层,降低大数据分析与机器学习存储成本。

服务集成

无缝支持腾讯云各类计算分析、机器学习产品,包括弹性 MapReduce、流计算 Oceanus。

按需流动数据

自动执行、手动触发或周期性流动数据,主机通过 GooseFSx 立即访问和高性能处理 COS 的数据,并按需将计算结果持久化到 COS。

极高性能和极低时延

采用专为高性能工作负载设计的全并行架构,性能随容量扩展而线性扩展,迸发出每秒数百 GB 的吞吐量,数百万级 IOPS,和亚毫秒级延时。

应用场景
机器学习

在经典机器学习场景中,训练数据量大,同时要求很大的内网带宽。

主要能力

  • 超大带宽:可以提供超大的内网带宽,满足机器学习场景大带宽需求。

  • 多数据源支持:可对接多种数据源,允许存储任意规模的结构化、半结构化、非结构化数据。

  • 性能加速:通过数据加速器 GooseFS、元数据加速器、AZ 加速器等多级加速服务,实现超越本地 HDFS 的性能。
大数据分析

客户基于开源 Hadoop 生态构建大数据处理与分析,会面临计算资源与存储资源扩容速度不匹配、存储系统需对接多数据源的问题。

主要能力

  • 计算存储分离:通过计算与存储分离,实现计算资源弹性伸缩,满足客户对计算资源的灵活调度。

  • 多数据源支持:可对接多种数据源,允许存储任意规模的结构化、半结构化、非结构化数据。

  • 高性能业务架构:通过数据加速器 GooseFS、元数据加速器、AZ 加速器等多级加速服务,提升计算业务访问性能。
交互式查询

通过容器服务,结合 Flink、TensorFlow 等开源应用,搭建云原生数据 ETL 集群和分析集群,实现计算资源的弹性化;通过数据加速器 GooseFS、元数据加速器、AZ 加速器等多级加速服务,提升计算业务访问性能;通过对象存储服务作为数据湖存储底座,实现海量异构数据的低成本存储。

主要能力

  • 计算存储分离:通过计算与存储分离,实现计算资源弹性伸缩,满足客户对计算资源的灵活调度。

  • 高性能业务架构:通过数据加速器 GooseFS、元数据加速器、AZ 加速器等多级加速服务,提升计算业务访问性能。

  • 丰富生态支持:可存储 Parquet、ORC 多种格式数据源,支持 Spark、Presto、Flink 等多种大数据插件。
AI 训练仿真场景

AI 训练仿真场景,对存储系统的极致性能需求;训练仿真,一站打通。

主要能力

  • 超高性能:可提供每秒数百 GB 的吞吐量、数百万级 IOPS 和亚毫秒级延时。

  • 无缝融合应用生态:兼容 POSIX 文件语义,能自动挂载成主机的本地目录,无缝融入容器化的应用生态。

  • 训练仿真一站打通:一套存储满足多种模式的 AI 训练、仿真、推理等业务,满足 Windows 和 Linux 多平台需求,满足随机 IO、高带宽 IO、稳定、低时延等多种性能需求。
高性能计算场景

高性能计算场景,需要极高的存储性能;满足不同规模 GPU 算力需求,性能线性扩展。

主要能力

  • 超高性能:数据从 COS 按需预热到数据加速器,满足 HPC 计算的数百 GB 的高吞吐和亚毫秒级低延时的性能需求,性能随容量扩展而线性扩展。

  • 与计算生态无缝融合:兼容 POSIX 文件语义,能够批量自动挂载成主机的本地目录,实现存储资源快速弹性供给。

  • 冷热分层弹性高效:温冷数据持久化到 COS,热数据缓存到数据加速器,数据加速器与 COS 相互解耦,各自弹性伸缩,又深度融合,实现数据按需流动。