Elastic MapReduce

クラウドホスティングのElasticオープンソース Hadoop サービスであり、 Spark、Hbase、Presto などのビッグデータアーキテクチャにもサポートします

概要

Elastic MapReduce(EMR)は、クラウド技術をHadoop、Hive、Spark、Hbase、Presto、Storm などのコミュニティオープンソース技術と連携し、安全、低コスト、高信頼性、Auto Scalingのクラウドホスティング Hadoop サービスを提供します。数分以内で安全で信頼できる専用の Hadoop クラスターを作成し、クラスター内のデータノードまたはオブジェクトストレージCOSにあるPBレベルの大量データを分析します。

特徴

柔軟性

わずか数分で、ウェブサイトまたはAPIを通し、安全で高信頼性の専用Hadoopクラスターをオンデマンドで起動します。また、さまざまな業務部門のニーズに応じて、該当するバージョンのHive、Spark、Hbase、Prestoなどのビッグデータコンポーネントを組み合わせて実行できます。管理コンソールを通し、ノード、コンポーネント、プロセスに監視アラームの設定とメンテナンス操作を簡単に行います。

Elastic

Elastic MapReduce 製品を介して、ビッグデータクラスターのElastic機能をすぐ獲得できます。業務曲線または監視指標の状況に応じて、ホスティングされたHadoopクラスターの規模を手動または自動的にスケーリングできます。コンピューティングとストレージの分離により、クラスターを完全に廃棄し、リソース使用率の最大化を実現できます。

信頼性

クラウドディスクノード障害のホットマイグレーション、ダブルマスターノードの災害復帰設計、スレーブノードの秒単位レベルの起動により、ビッグデータサービスの可用性を保証します。Hive などのメータデータ遠隔地災害復帰、コンピューティングとストレージを分離してオブジェクトストレージCOSへ保存することにより、高耐久性のストレージを保証します。完備な監視体系はクラスターの異常を迅速に発見と特定し、安定なクラスター運用を保証します。

安全性

便利な VPC ネットワークセキュリティ隔離方法を通してホスティングの Hadoop クラスターネットワークポリシーを設計できます。ネットワークACLとセキュリティグループをサポートします。サブネットとマスターからトラフィックをフィルタリングし、全面的にネットワークセキュリティニーズを満たします。Tencent Cloud品質のSecurity Reinforceサービスは EMR クラスターにネットワーク保護、侵入検出、脆弱性保護など統合したセキュリティサービスを提供します。

機能

Tencent Cloud Anti-DDoS Proは、より高いDDoS保護機能をユーザーに直接提供して、購入後保護対象のデバイスをバインディングするだけでサービスを使用できて、さらに業務セキュリティ運用を最適化した高度な保護ポリシーを公開しました。
迅速にデプロイ

コンソールのクリックで選ぶ方式を通し、わずか三つステップで独立専用のビッグデータクラスターを構築できます。Elastic MapReduce は多くのビッグデータオープンソースコンポーネントを提供します。作成する時に、 Hive、Spark、Hbase、Presto、Flink、Storm (これら以外でも可能)などをを自由にくみあわせて選択できます。安全、低コスト、高信頼性、Auto ScalingできるのクラウドエンドホスティングHadoopサービスを提供します。 API の方式を通して、作成パラメータを保留する事により、クラスターを繰り返し作成および廃棄できます。

Elastic MapReduce は複数モデルのクラスターデプロイをサポートし、さまざまな業務ケースに応じて、クラスターのCPU、メモリ、ストレージのタイプと数量をコンフィグレーションできます。

ユースケース

オフラインデータ分析

ゲーム、WEB アプリケーション、モバイルAPP などの業務サーバー上の大規模なログをEMR データノードまたはCOSに同期した後、 Hue などのツールを通し、 Hive、Spark、Presto などのメジャーコンピューティングアーキテクチャを利用してデータの価値を素早く取得できます。

カラム指向ストレージHBase

Elastic MapReduce は元HBaseコンポーネントをサポートし、ホスティングのHBase クラスターを迅速に作成又は使用できます。HBaseは高度なスケーラビリティ分散式ビッグデータのストレージです。統合したPhoenixを通し、HBaseテーブルへの低ディレーのSQL アクセスが可能です。

ストリーミングデータ処理

プログラム/ツールの中に、 API、SDK を通し、業務サーバーでリアルタイムに生成されたデータをメッセージミドルウェアへ Push した後、 EMR 製品の中に適切なストリーミングデータ処理エンジンを選び、データを分析し、データをリアルタイムにコンピューティングすることと意思決定を実現します。

分析 COS 上のデータ

EMR 製品を通してCOS 上に保存されている大量データを迅速に分析し、コンピューティングとストレージを徹底に分離することを実現します。そのような設計を通して、COS が提供している豊富なデータ同期ツールを十分利用し、同時に複数バージョンのHadoopクラスターで同じデータを分析させることにより、データの整合性と歴史的な理由によりマルチバージョンのHadoopクラスターが共存する問題を解決する要件を満たします。

料金

Tencent Cloud Elastic MapReduceは柔軟な課金方式をご提供します。課金はノードレベルで正確であり、様々な仕様のノードを選択してクラスターを構成することをサポートします。業務の変化に応じて、クラスター内のノード数を調整することもできます。製品価格の詳細については課金概要ドキュメントをご参照ください