tencent cloud

概要

クラウドネイティブデータレイクストレージサービスは、Tencent Kubernetes Engine（TKE）上で、Cloud Object Storage（COS）をベースにしたデータレイクストレージサービスをスピーディーにデプロイする上で役立ちます。クラウドネイティブデータレイクストレージサービスによって、業務に必要な各種ビッグデータサービスアプリケーションおよびAIサービスアプリケーションをTKEまたはEKSクラスター上に素早くデプロイすることができるほか、データアクセラレーターGooseFSによって大量の分散型ストレージサービスを連結することもできます。

概念と用語

クラウドネイティブデータレイクストレージサービスのご利用にあたり、次の説明をお読みいただくことで、関連の概念と用語を一通り理解することができます。

• 環境：クラウドネイティブデータレイクストレージサービスにおいて、コンピューティングクラスターとストレージサービス間のマッピング関係を維持するために用いられます。コンピューティングクラスターおよびストレージサービスはこのエントリーから一元的に管理することを推奨します。

  注意：

  コンピューティングクラスターを削除したい場合は、先にクラウドネイティブデータレイクストレージ環境をクリアしてから、TKEコンソール上でコンピューティングクラスターを削除することをお勧めします。

• コンピューティングクラスター：各種のコンピューティング業務の実行に用いるコンテナクラスターです。TKEクラスターまたはEKSクラスターを作成することができます。
• ストレージサービス：特にCOSサービスを指します。コンピューティング業務に用いる各種データを保存するために用いられます。
• アプリケーションマーケット：Flink、Sparkなど、各種のコンピューティング業務の実行に用いるアプリケーションコンポーネントです。環境作成の際に、ニーズに合わせて必要なアプリケーションを選択できます。

  注意：

  コンテナクラスターが破棄されると、デプロイしたアプリケーションも破棄されます。削除操作は慎重に行ってください。

• データアクセラレーターGooseFS：さまざまな下層バケットの格納管理に用いることができ、ホットデータをコンピューティングクラスターにキャッシュすることで、コンピューティング業務のアクセラレーションを可能にします。

次のドキュメントによって、基本的な情報をあらかじめご理解いただくことも可能です。

• COSサービス：クイックスタートで、バケットを作成して、ファイルをバケットにアップロード、およびバケットからダウンロードする方法についてご説明しています。
• Tencent Kubernetes Engine：クイックスタートで、TKEクラスターまたはEKSクラスターを作成する方法についてご説明しています。
• アプリケーションマーケット：Tencent Kubernetes Engineのアプリケーションマーケットで、クラスター内にアプリケーションを作成してデプロイする方法についてご説明しています。
• データアクセラレーターGooseFS：このサービスはさまざまな下層バケットの一元的な格納管理に用いることができ、業務アクセスのアクセラレーションも可能にします。

前提条件

• 現在クラウドネイティブデータレイクストレージサービスはホワイトリスト機能に属しています。ホワイトリストを有効化して使用するには、お問い合わせください。
• クラウドネイティブデータレイクストレージサービスはTKEおよびCOSサービスに依存しています。ご利用の過程で、コンピューティングサービスとストレージサービスの操作権限を有することを確実にしておく必要があります。サブアカウントを使用してログインする場合は、そのサブアカウントが少なくとも次の権限を有することを確認してください。
• COSサービスのバケットとファイルの操作権限：
  • バケット操作権限：バケット設定の管理が必要な場合は、ルートアカウントを通じて対応するバケット設定の操作権限を取得してください。通常、このバケット設定権限はデータの読み取り/書き込みには影響せず、追加設定も必要ありません。最大で設定読み取り操作権限までを承認します（例えば、QcloudCOSBucketConfigReadポリシーセットなど）。
  • ファイル操作権限：通常、コンピューティング業務にはバケット内のファイルの読み取りと書き込みが必要なため、ルートアカウントを通じてファイルの全読み取り書き込み権限（例えば、QcloudCOSDataFullControl)）の承認を行うか、またはルートアカウントが最小権限の原則に従って権限承認を行うことができます。
• コンテナクラスターの管理権限：
  • クラスター操作権限：通常はクラスターの作成および操作権限の承認が必要です。TKEプリセットポリシーを使用した権限承認を参照して設定を行うことができます。
  • クラスター管理権限：TKEはKubernetes RBACに連結した権限承認方式を提供しており、サブアカウントに対し粒度の細かいアクセス権限制御を行うことができます。サブアカウントでの操作の際は、TKE Kubernetesのオブジェクトレベルでの権限制御も必ずご参照ください。
  • アプリケーションマーケットの操作権限：アプリケーションマーケットはイメージウエアハウスの操作に依存しています。サブアカウントへの権限承認は、TKEイメージウエアハウスリソースレベルの権限設定を参照して行うことができます。

操作手順

操作手順全体は、環境の作成、クラスターのバインド、コンピューティングアプリケーションのデプロイ、ストレージサービスのバインド、環境の管理などの重要手順に大きく分けられます。具体的な操作ガイドは次のとおりです。

1. COSコンソールにログインします。
2. 左側ナビゲーションバーで、クラウドネイティブデータレイクストレージをクリックし、クラウドネイティブデータレイクストレージサービス画面に進みます。
3. クラウドネイティブデータレイクストレージサービス画面では、ページビューに機能紹介、デプロイガイドという2つの内容が表示されます。

• デプロイガイドはデフォルトで表示されます。右上のガイドを折りたたむをクリックすると、ガイドナビゲーションを閉じることができます。
• クラウドネイティブデータレイクストレージサービス環境リストのページでは検索が可能です。すでに存在する環境について、次の操作を行うことができます。
  • 環境名をクリックして、環境詳細ページに進み、環境の管理を行います。
  • クラスターのバインドをクリックし、TKEコンソールを開いて、対応するクラスターの詳細ページに進みます。
  • バケットのバインドをクリックし、バケットページに進んでバケット内のファイル情報を確認します。

4. 環境の作成をクリックし、環境作成フローに進みます。
   環境を作成するには、先に対応するコンテナコンピューティングクラスターを選択し、それに次のパラメータを設定する必要があります。

• 環境名：環境情報の表示に使用します。最大63文字までの、グローバルで一意の名前です。
• リージョン：コンテナクラスターのリージョン情報を選択します。
• クラスタータイプ：TKEクラスターとEKSクラスターから選択できます。現在のリージョンにクラスターがない場合は、コンテナクラスターの作成をクリックし、TKEコンソールでクラスターを新規作成することができます。
• クラスター：リージョン指定およびクラスタータイプ指定の条件下で、コンピューティングアプリケーションサービスのデプロイ、コンピューティング作業の実行に用いるクラスターの名前です。
• コンピューティングアプリケーション：コンピューティング作業の実行に必要なアプリケーションサービスです。現在はデフォルトでFlink、big-data-suite、colocation、airflow、pytorch、spark-operatorなどのアプリケーションをサポートしており、ニーズに応じて選択できます。カスタムアプリケーションをデプロイしたい場合は、TKEコンソールでご自身でデプロイすることができます。アプリケーションは複数選択が可能です。

5. 次のステップをクリックし、バケット設定ページビューに進みます。
   このページでコンピューティングクラスターにさまざまなバケットを設定することができます。データアクセラレーターGooseFSサービスをデフォルトで提供しており、さまざまなバケットを格納管理してデータをコンピューティングクラスターのローカルノードにキャッシュし、コンピューティング作業のアクセラレーションに用いることができます。これには次のパラメータを設定する必要があります。

• リージョン情報：編集はできず、コンピューティングクラスターの選択したリージョンにデフォルトで追従します。このリージョンに選択可能なバケットがない場合は、バケットの作成をクリックし、コンピューティングタスクに用いるバケットを新規作成することができます。
• バケット：指定のリージョンで複数のバケットを選択できます。バケット内の特定のファイルディレクトリのみのマウントもサポートしています。

  注意：

  バケット全体をマウントする場合は、2つ目の入力ボックスへの入力は不要です。ディレクトリを指定したい場合は、ディレクトリ名を入力します。形式はprefix/*のようにします。

• GooseFSの有効化：GooseFSサービスはコンピューティング作業パフォーマンスのアクセラレーションに用いられ、デフォルトで有効になっており、変更はできません。これによって追加料金が発生することはありません。

6. 次のステップをクリックし、GooseFSアプリケーション設定ページビューに進みます。
   データレイク環境下では、すべてのコンピューティングタスクはGooseFSサービスを介してCOSにアクセスする必要があるため、GooseFSに対し、アクセス権限のある指定のバケットのsecretIdおよびsecretKeyを設定する必要があります。
7. 次のステップをクリックし、情報を確認します。
8. 設定項目を変更したい場合は、変更をクリックして、設定情報を変更することができます。誤りがないことを確認後、環境の作成をクリックすると、環境作成操作は完了です。環境リストに戻って更新すると、新規作成したクラウドネイティブデータレイクストレージサービス環境を確認できます。

環境を削除したい場合は、環境リストで削除をクリックし、ポップアップウィンドウでその削除操作を確定すれば削除できます。
9. リストの環境名をクリックすると、基本情報ページに進むことができます。
3つのカードビューを使用し、環境情報、コンピューティングクラスター情報、バケット情報についてそれぞれ記述しています。

• データレイク環境情報：環境の名前、リージョン、バインドしたコンピューティングクラスター、ストレージサービスおよび作成時間などの情報の表示に用います。
• コンピューティングクラスター情報：コンピューティングクラスターの名前、ノード数、CPU、メモリ、GPU使用量などの基本情報の表示に用います。コンピューティングクラスターの詳細を知りたい場合は、「詳細を見る」をクリックすると、TKEコンソールにリダイレクトされ、そこで確認することができます。
• バケット情報：コンピューティングクラスターにバインドしたバケットの名前、ファイルパスおよびGooseFSの使用状態の表示に用います。ストレージサービスの詳細を確認したい場合は、「詳細を見る」をクリックして確認できます。

上記の手順がすべて完了すると、データレイク環境作成のフローは完了です。