tencent cloud

Cloud Object Storage（COS）のバッチ処理機能では、バケット内の指定のオブジェクトリストに対し、指定の操作を実行することが可能です。リスト機能によって生成したオブジェクトリストを指定のオブジェクトリストとするか、または処理したいオブジェクトをリストファイルの形式で、CSV形式のファイルに記録し、COSのバッチ処理機能によってこれらのオブジェクトリストファイルに対しバッチ処理を行います。

リスト機能についてより詳しくお知りになりたい場合は、リスト機能の概要をご参照ください。

現在、COSのバッチ処理機能は次の指定操作のみサポートしています。

• オブジェクトの一括コピー
• アーカイブオブジェクトの一括復元

COSコンソールでCOSのバッチ処理機能を使用できます。詳細については、バッチ処理をご参照ください。

原理

バッチ処理操作を実行したい場合は、まず初めにバッチ処理タスクを作成する必要があります。バッチ処理タスクにはオブジェクトリストに対し指定の操作を実行するために必要な全ての情報が含まれます。リスト機能によって生成したリストをオブジェクトリストとすることができます。

オブジェクトリストを提供し、バッチ処理タスクを作成してタスクを起動すると、バッチ処理機能がリスト内のそれぞれのオブジェクトに対し、指定された操作を実行します。タスクの実行中は、COSコンソールでそのタスクの実行状況を監視することができ、またタスクの完了後に対応するタスクレポートを出力するよう指定することもできます。タスクレポートには、そのタスクで実行された各操作のステータスが詳細に記述されます。

注意：

バッチ処理タスクは現在のバケット内のオブジェクトに対してのみ有効です。他のバケットのオブジェクトデータのバッチ処理を行いたい場合は、該当するバケット内でバッチ処理機能を有効にしてください。

オブジェクトリスト

オブジェクトリストは処理対象のすべてのオブジェクトを記録したリストです。バッチ処理タスクを作成する場合は先にオブジェクトリストを提供することで、処理したいオブジェクトをCOSに通知する必要があります。このオブジェクトリストファイルをバケット内に保存し、このファイルの名前、ETag、VersionID（もしあれば）などの情報を提供する必要があります。オブジェクトリストは次の2つの方法で作成することができます。

• COSリスト機能：この機能はCSV形式でオブジェクトリストを出力するものです。オブジェクトリストの詳細情報に関しては、リスト機能の概要をご参照ください。オブジェクトリストにオブジェクトのバージョンID情報が含まれる場合は、COSによるバッチ処理の実行時に対応するバージョンIDのオブジェクトの処理を行います。
• CSVファイルの設定：このファイルには各行に必ずバケット名、処理対象のオブジェクト名を含めなければなりません。バケットで同時にバージョン管理を有効にしている場合は、オブジェクトのバージョンIDも含める必要があります。バージョン管理機能を有効にしていない場合は、オブジェクトのバージョンID情報は無視することができます。CSVファイル設定の形式は次のようになります。

  examplebucket-appid, exampleobject, PZ9ibn9D5lP6p298B7S9_ceqx1n5EJ0p
  examplebucket-appid, exampleobject, jbo9_jhdPEyB4RrmOxWS0kU0EoNrU_oI
  

注意：

• バケットのバージョン管理を有効にしている、あるいは以前に有効にしたことがあり、なおかつ指定したオブジェクトのバージョンに対し一括処理を行いたい場合は、オブジェクトリストにオブジェクトのバージョンID情報を必ず記載しなければなりません。
• バケットのバージョン管理を有効にしている、あるいは以前に有効にしたことがあっても、オブジェクトリストでバージョンIDを指定していない場合は、COSはデフォルトで最新バージョンのオブジェクトに対し操作を行います。
• タスクの作成前に、処理対象のオブジェクトと同名のオブジェクトファイルをアップロードしていた場合、COSはデフォルトで、オブジェクトリスト作成時のオブジェクトではなく、最新バージョンのオブジェクトを処理します。このような操作が行われることを避ける方法は、バージョン管理機能を有効にし、オブジェクトリストでバージョンIDを指定しておくことです。
• オブジェクトリストにバケット内のすべてのオブジェクトを含めることは可能ですが、COSが大量のオブジェクトを処理する際、タスクの実行プロセスに長時間かかる可能性があることに注意が必要です。

バッチ処理タスク

ここでは、バッチ処理タスクの作成方法、ならびにバッチ処理タスクの作成完了後のシステムのフィードバック状況について詳細にご説明します。

バッチ処理タスクを作成するには、次の情報を提供する必要があります。