典型的 Spark-HDFS 离线数据分析框架对于磁盘的读写 RDD read/write、shuffle write 都是顺序 I/O,只有 shuffle read I/O 是随机 I/O,顺序 I/O 比例高达95%。云硬盘的多线程并发吞吐性能优秀,高效支持 Hadoop-Mapreduce、HDFS、Spark,TB/PB 级数据的离线处理。
多磁盘并发,单 HDFS 集群可达到1GB/s的吞吐性能。
小红书、巨人网络、饿了么、Yoho!BUY 有货、微票儿等大企业已在云硬盘上广泛开展数据分析、挖掘、商业智能等大数据实践。
部署环境:12Core 40GB RAM 云服务器5台,模拟离线数据分析1.5TB数据量。
测试性能:
SSD 云硬盘适合对 I/O 性能要求高,同时对数据可靠性要求也高的场景。尤其适合如 PostgreSQL、MySQL、Oracle、SQL Server 等中大型关系数据库应用、对数据可靠性要求高的 I/O 密集型等核心业务系统以及对数据可靠性要求高的中大型开发测试环境。
SSD 云硬盘完美兼顾了数据可靠性与高性能表现,已为英魂之刃、问道、Yoho!BUY 有货、微票儿、小红书等大企业提供可靠支持。
部署环境:4Core 8GB RAM 云服务器4台,分别挂载1块800G的 SSD 云硬盘,部署 MySQL version 5.5.42。
测试性能:用 sysbench 模拟 OLTP 性能测试,测试集为1千万条记录,TPS 可达1616,QPS 达29000,单盘足以支撑每秒上万人的在线同时交易。
本页内容是否解决了您的问题?