履歴タスクインスタンス

フォーカスモード

フォントサイズ

最終更新日: 2026-04-17 15:31:27

履歴タスクインスタンスは、DLCでユーザーが実行したさまざまなタスクを記録および管理し、後続の追跡、再確認、最適化を容易にすることを目的としています。履歴タスクインスタンス機能により、ユーザーはタスクの開始および終了時間、実行ステータス（成功または失敗など）、入力および出力の詳細、生成されたログやエラー情報を含むタスクの実行状況を迅速に確認できます。これにより、ユーザーに監査と検索の利便性を提供し、タスクの健全性状態、潜在的な問題、リソース構成の最適化などを識別するのに役立ちます。
操作手順
1. 「データレイクコンピューティング DLC コンソール > 運用管理 > 履歴タスクインスタンス」にログインし、サービス地域を選択します。
2. 履歴タスクインスタンスページに入ると、管理者は過去45日間のすべての履歴実行タスクを確認でき、一般ユーザーは自分に関連する過去45日間のタスクを照会できます。
3. タスクタイプ、実行ステータス、作成者、タスク時間範囲、タスク名、タスクID、タスク内容、サブチャネルなどによるフィルタリングと表示をサポートします。
4. タスクID/名称をクリックすると、タスクの詳細情報を表示できます。基本情報、実行結果、タスクインサイト、タスクログなどのモジュールを含みます。
5. ユーザーがタスク構成をクリックして変更し、作業の詳細にすばやくアクセスして構成を調整し、最適化できるようにサポートします。
履歴タスクインスタンス一覧
説明：
*フィールドはインサイト機能を有効にした後にサポートされます（タスクが完了した後にのみ統計可能）。有効化方法については、インサイト機能の有効化方法を参照してください。
フィールド名称
説明
タスクID
タスクの一意の識別子です。
タスク名
プレフィックス_yyyymmddhhmmss_8桁のuuidで、yyyymmddhhmmssはタスクの実行時間です。
プレフィックスルール：
1. コンソールで提出されたジョブタスクの場合、プレフィックスはジョブ名となります。例えば、ユーザーがcustomer_segmentation_jobというジョブを作成し、2024.11.26 21:25:10に実行した場合、タスクIDはcustomer_segmentation_job_20241126212510_f2a65wk1となります。現在のデータ形式制限に基づき、ジョブ名は100文字以内です。
2. データ探索ページで提出されたSQLタイプのタスクは、プレフィックスがsql_queryとなります。例：sql_query_20241126212510_f2a65wk1。
3. データ最適化タスクでは、最適化タスクの異なるサブタイプに応じたプレフィックスが設定されます。具体的には：
3.1 オプティマイザーのプレフィックスはoptimizerのみです。
3.2 最適化インスタンスのSQLタイプはoptimizer_sqlです。
3.3 最適化インスタンスのバッチタイプはoptimizer_batchです。
3.4 データ最適化戦略を設定する場合に作成される設定タスクoptimizer_configです。
4. データインポートタスクの場合、プレフィックスはimportです。例：import_20241126212510_f2a65wk1。
5. データエクスポートタスクの場合、プレフィックスはexportです。例：export_20241126212510_f2a65wk1。
6. Wedata提出の場合、プレフィックスはwdです。例：wd_20241126212510_f2a65wk1。
7. その他のインターフェースで提出されたタスクの場合、プレフィックスはcustomizedとなります。例：customized_20241126212510_f2a65wk1。
8. メタデータ管理ページでメタデータに対して操作を行う際に作成されるタスクは、プレフィックスがmetadataとなります。例：metadata_20241126212510_f2a65wk1。
タスク状態
起動中
実行中
キューイング中
成功
失敗
キャンセル済み
期限切れ
タスクタイムアウト
タスク内容
タスクの詳細内容。ジョブタイプのタスクはジョブ詳細のハイパーリンクです。SQLタイプのタスクは完全なSQL文です。
タスクタイプ
ジョブタイプとSQLタイプに分けられます。
タスク発生元
当該タスクの発生元。データ探索タスク、データジョブタスク、データ最適化タスク、インポートタスク、エクスポートタスク、メタデータ管理、Wedataタスク、インターフェース送信タスクをサポートしています。
サブチャネル
ユーザーがインターフェースからタスクを送信する際、サブチャネルをカスタマイズできます。
計算リソース
当該タスクの実行に使用する計算エンジン/リソースグループ
* 累計 CPU * 時間（消費 CU*時）。
統計対象は、計算に使用されたSpark Executorの各コアにおけるCPU実行時間の合計です（単位：時間）。これはクラスタのマシン起動時間と等しくないことにご注意ください。なぜなら、マシン起動後も必ずしもタスク計算に参加するとは限らず、最終的なクラスタのCU消費量に基づく課金は請求書を基準とします。
Sparkシナリオでは、おおよそSparkタスクの実行時間の直列合計（秒）を3600で割った値に相当します（単位：時間）。
（この指標はタスク完了後にのみ統計可能です。）
実行合計時間
タスクの開始から終了までの時間であり、リソース不足による待機時間が含まれる可能性があります。 
1.  Spark SQLタスクの場合、プラットフォームのスケジューリング時間 + エンジン内の待ち時間 + エンジン内の実行時間です。
2.  Sparkジョブタスクの場合、プラットフォームのスケジューリング時間 + エンジン起動時間 + エンジン内の待ち時間 + エンジン内の実行時間です。
* エンジン実行時間
このタスクにインサイト結果がある場合、エンジン内の実行時間を反映し、実際の計算に要した時間、つまりSparkタスクの最初のタスクの実行開始からタスク終了までの所要時間を示します。
具体的には、各Sparkステージの最初のタスクから最後のタスク完了までの所要時間の合計を集計します。これには、タスク開始時の待ち時間（タスク投入からSparkタスク実行開始までのスケジューリング時間など）は含まれません。また、タスク実行中に複数のSparkステージ間でexecutorリソース不足によりタスク実行待ちが発生した時間も除外されます。（なお、この指標はタスク完了後にのみ統計可能です。）
* データスキャン量
このタスクがストレージから読み取った物理データ量は、Sparkシナリオでは、おおよそSpark UIのステージ入力サイズの合計に相当します。
* データスキャン件数
このタスクがストレージから読み取った物理データ件数は、Sparkシナリオでは、おおよそSpark UIのステージ入力レコードの合計に相当します。
作成者
ジョブタイプのタスクの場合、当該ジョブの作成者となります。
実行者
当該タスクを実行するユーザーです。
提出時間
ユーザーがタスクを提出した時間。
*エンジン実行時間
このタスクが初めてCPUを確保して実行を開始した時間、Sparkエンジン内部で実行を開始した最初のタスクの時間です。
（この指標はタスク完了後にのみ統計可能です。）
*出力ファイル数
この指標の収集には、Sparkエンジンカーネルを2024.11.16以降のバージョンにアップグレードする必要があります。
タスクがINSERTなどのステートメントを介して書き込んだファイルの総数です。
（この指標はタスク完了後にのみ統計可能です。）
*出力小ファイル数
この指標の収集には、Sparkエンジンカーネルを2024.11.16以降のバージョンにアップグレードする必要があります。
小ファイルの定義：出力された単一ファイルのサイズが4MB未満の場合、小ファイルと定義されます（パラメータspark.dlc.monitorFileSizeThresholdで制御され、デフォルトは4MBです。エンジングローバルまたはタスクレベルでの設定が可能です）。
本指標の定義：タスクがINSERTなどのステートメントを介して書き込んだ小ファイルの総数です。
（この指標はタスク完了後にのみ統計可能です。）
*出力総行数
このタスクがデータ処理後に出力するレコード数は、Sparkシナリオでは、おおよそSpark UIのステージ出力レコードの合計に相当します。
*出力総サイズ
このタスクがデータ処理後に出力するレコードサイズは、Sparkシナリオでは、おおよそSpark UIのステージ出力サイズの合計値に相当します。
*データシャッフル行数
Sparkシナリオでは、おおよそSpark UIのステージシャッフル読み取りレコードの合計に相当します。
（この指標はタスク完了後にのみ統計可能です。）
*データシャッフルサイズ
Sparkシナリオでは、おおよそSpark UIのステージシャッフル読み取りサイズの合計に相当します。
（この指標はタスク完了後にのみ統計可能です。）
*ヘルスステータス
タスクを分析して健康状態を判断し、最適化が必要かどうかを確認します。詳細はタスクインサイトをご参照ください。
（この指標はタスク完了後にのみ統計可能です。）
履歴タスクインスタンスの詳細
基本情報
1. ユーザーは実行内容で具体的なタスク内容を確認できます。SQLタスクの場合は完全なSQL文を、ジョブタスクの場合はジョブの詳細とパラメータを確認できます。
2. ユーザーはリソース消費でタスクリソースに関する内容を確認できます。これには、消費CU*時間、実行総所要時間、エンジン実行時間、データスキャン量、計算リソース、カーネルバージョン、Driverリソース、Executorリソース、Executor数が含まれます。
3. ユーザーは基本情報でタスクの基本情報を確認できます。これには、タスク名、タスクID、タスクタイプ、タスクソース、作成者、実行者、提出時間、エンジン実行時間が含まれます。
4. SuperSQL SparkSQLまたはSuperSQL Prestoエンジンで実行されたタスクの場合、ユーザーはクエリ統計でタスクの進行状況バーを確認できます。これには、タスクの作成、タスクのスケジューリング、タスクの実行、結果の取得などの各段階の所要時間が含まれます。
実行結果
タスク完了後、ユーザーは実行結果ページでタスクの結果を確認できます。タスク結果には2種類あります：
1. ファイル書き込み情報：SuperSQLおよび標準エンジンSparkカーネルエンジンで実行されるファイル書き込みタスクの場合、ユーザーはファイル書き込み情報を確認できます。
ファイル平均サイズ
最小ファイルサイズ
最大ファイルサイズ
ファイル総サイズ
2. 実行結果：SQLタスククエリ文は、現在のタスクのクエリ結果を表示でき、ユーザーがクエリ結果をダウンロードすることをサポートします。
タスクインサイト
タスクが完了すると、ユーザーはタスクインサイトページでタスクインサイト結果を確認できます。各タスクで実行されたメトリクスの集計や最適化可能な問題の分析をサポートします。現在のタスクの実際の実行状況に基づき、DLCタスクインサイトはデータ分析とアルゴリズムルールを組み合わせて、適切なチューニング提案を提供します。詳細はタスクインサイトをご参照ください。
タスクログ
ユーザーはタスクログページで現在のタスクのログを確認できます。
説明：
ジョブタイプとBatchSQLタイプのみ、タスクログの確認をサポートしています。
SQLタイプのタスクは常駐クラスタで実行され、タスクレベルでログを表示できません。
関連するタスクを内部最適化タスクとして最適化し、クラスタログを表示する必要はありません。
1. Pod名を使用して異なるクラスタノード（Driver、Executorなど）のログを切り替えることがサポートされています。
2. ログタイプ（全部、Log4j、Stdout、Stderrなど）の切り替えがサポートされています。
説明：
2025年7月4日以降にアップグレードされたSparkエンジンイメージは、log4j、stdout、stderrのログを分離して表示する機能をサポートします。
過去のバージョンのイメージであるSparkエンジンの場合：
「すべて」または「Stderr」オプションを選択すると、すべてのログが表示されます。
「Log4j」または「Stdout」ログオプションを選択した場合、何も表示されません（空になります）。
エンジンをアップグレードする必要がある場合は、チケットを提出してサポートに連絡し、アップグレードを行ってください。
すべて：タスクのすべてのログ内容を表示し、問題の包括的な調査を容易にします。
Log4j：Sparkクラスタ自身が生成するログを表示し、クラスタの実行状態と内部情報を把握するのに役立ちます。
Stdout：ビジネスログを表示し、通常はユーザープログラムの正常な出力情報を含みます。
Stderr：標準エラーログを表示し、異常やエラー情報を迅速に捕捉するのに役立ちます。
3. 3種類のログレベルフィルターをサポート：All、Error、WARN。
4. このページには直近1000件のログのみ表示されます。すべてのログ記録を確認する必要がある場合は、ログをエクスポートしてください。
5. ログのエクスポート記録とエクスポートタスクの状態を確認できます。ログエクスポート記録では、ユーザーはログファイルをローカルに保存できます。
リソース使用量統計
タスク実行プロセス中のリソース消費状況をリアルタイムの変動グラフで視覚的に表示します。グラフは毎分自動更新され、最新データを報告します（収集頻度の関係で、5秒未満のタスクには変動グラフが表示されない場合があります）。これにより、ユーザーはリソース使用傾向を動的に監視できます。
説明：
この機能は2025-07-01以降のバージョンのSparkエンジンでのみサポートされています。
SQLタスク：Executorコアのリアルタイム使用数を統計（Driverコアは含まず）、SQLタスクの計算リソース消費を正確に反映します。
バッチ処理タスク：すべての起動コア数（Driverコアを含む）を統計し、バッチタスクのリソース占有状況を包括的に表示します。

ヘルプとサポート

この記事はお役に立ちましたか？

営業担当者にお問い合わせいただくかチケットを提出してサポートを求めることができます。

フィードバック

tencent cloud

Data Lake Compute

履歴タスクインスタンス

操作手順

履歴タスクインスタンス一覧

履歴タスクインスタンスの詳細

基本情報

実行結果

タスクインサイト

タスクログ

リソース使用量統計

ヘルプとサポート

フィールド名称	説明
タスクID	タスクの一意の識別子です。
タスク名	プレフィックス_yyyymmddhhmmss_8桁のuuidで、yyyymmddhhmmssはタスクの実行時間です。プレフィックスルール： 1. コンソールで提出されたジョブタスクの場合、プレフィックスはジョブ名となります。例えば、ユーザーがcustomer_segmentation_jobというジョブを作成し、2024.11.26 21:25:10に実行した場合、タスクIDはcustomer_segmentation_job_20241126212510_f2a65wk1となります。現在のデータ形式制限に基づき、ジョブ名は100文字以内です。 2. データ探索ページで提出されたSQLタイプのタスクは、プレフィックスがsql_queryとなります。例：sql_query_20241126212510_f2a65wk1。 3. データ最適化タスクでは、最適化タスクの異なるサブタイプに応じたプレフィックスが設定されます。具体的には： 3.1 オプティマイザーのプレフィックスはoptimizerのみです。 3.2 最適化インスタンスのSQLタイプはoptimizer_sqlです。 3.3 最適化インスタンスのバッチタイプはoptimizer_batchです。 3.4 データ最適化戦略を設定する場合に作成される設定タスクoptimizer_configです。 4. データインポートタスクの場合、プレフィックスはimportです。例：import_20241126212510_f2a65wk1。 5. データエクスポートタスクの場合、プレフィックスはexportです。例：export_20241126212510_f2a65wk1。 6. Wedata提出の場合、プレフィックスはwdです。例：wd_20241126212510_f2a65wk1。 7. その他のインターフェースで提出されたタスクの場合、プレフィックスはcustomizedとなります。例：customized_20241126212510_f2a65wk1。 8. メタデータ管理ページでメタデータに対して操作を行う際に作成されるタスクは、プレフィックスがmetadataとなります。例：metadata_20241126212510_f2a65wk1。
タスク状態	起動中実行中キューイング中成功失敗キャンセル済み期限切れタスクタイムアウト
タスク内容	タスクの詳細内容。ジョブタイプのタスクはジョブ詳細のハイパーリンクです。SQLタイプのタスクは完全なSQL文です。
タスクタイプ	ジョブタイプとSQLタイプに分けられます。
タスク発生元	当該タスクの発生元。データ探索タスク、データジョブタスク、データ最適化タスク、インポートタスク、エクスポートタスク、メタデータ管理、Wedataタスク、インターフェース送信タスクをサポートしています。
サブチャネル	ユーザーがインターフェースからタスクを送信する際、サブチャネルをカスタマイズできます。
計算リソース	当該タスクの実行に使用する計算エンジン/リソースグループ
* 累計 CPU * 時間（消費 CU*時）。	統計対象は、計算に使用されたSpark Executorの各コアにおけるCPU実行時間の合計です（単位：時間）。これはクラスタのマシン起動時間と等しくないことにご注意ください。なぜなら、マシン起動後も必ずしもタスク計算に参加するとは限らず、最終的なクラスタのCU消費量に基づく課金は請求書を基準とします。 Sparkシナリオでは、おおよそSparkタスクの実行時間の直列合計（秒）を3600で割った値に相当します（単位：時間）。（この指標はタスク完了後にのみ統計可能です。）
実行合計時間	タスクの開始から終了までの時間であり、リソース不足による待機時間が含まれる可能性があります。 1. Spark SQLタスクの場合、プラットフォームのスケジューリング時間 + エンジン内の待ち時間 + エンジン内の実行時間です。 2. Sparkジョブタスクの場合、プラットフォームのスケジューリング時間 + エンジン起動時間 + エンジン内の待ち時間 + エンジン内の実行時間です。
* エンジン実行時間	このタスクにインサイト結果がある場合、エンジン内の実行時間を反映し、実際の計算に要した時間、つまりSparkタスクの最初のタスクの実行開始からタスク終了までの所要時間を示します。具体的には、各Sparkステージの最初のタスクから最後のタスク完了までの所要時間の合計を集計します。これには、タスク開始時の待ち時間（タスク投入からSparkタスク実行開始までのスケジューリング時間など）は含まれません。また、タスク実行中に複数のSparkステージ間でexecutorリソース不足によりタスク実行待ちが発生した時間も除外されます。（なお、この指標はタスク完了後にのみ統計可能です。）
* データスキャン量	このタスクがストレージから読み取った物理データ量は、Sparkシナリオでは、おおよそSpark UIのステージ入力サイズの合計に相当します。
* データスキャン件数	このタスクがストレージから読み取った物理データ件数は、Sparkシナリオでは、おおよそSpark UIのステージ入力レコードの合計に相当します。
作成者	ジョブタイプのタスクの場合、当該ジョブの作成者となります。
実行者	当該タスクを実行するユーザーです。
提出時間	ユーザーがタスクを提出した時間。
*エンジン実行時間	このタスクが初めてCPUを確保して実行を開始した時間、Sparkエンジン内部で実行を開始した最初のタスクの時間です。（この指標はタスク完了後にのみ統計可能です。）
*出力ファイル数	この指標の収集には、Sparkエンジンカーネルを2024.11.16以降のバージョンにアップグレードする必要があります。タスクがINSERTなどのステートメントを介して書き込んだファイルの総数です。（この指標はタスク完了後にのみ統計可能です。）
*出力小ファイル数	この指標の収集には、Sparkエンジンカーネルを2024.11.16以降のバージョンにアップグレードする必要があります。小ファイルの定義：出力された単一ファイルのサイズが4MB未満の場合、小ファイルと定義されます（パラメータspark.dlc.monitorFileSizeThresholdで制御され、デフォルトは4MBです。エンジングローバルまたはタスクレベルでの設定が可能です）。本指標の定義：タスクがINSERTなどのステートメントを介して書き込んだ小ファイルの総数です。（この指標はタスク完了後にのみ統計可能です。）
*出力総行数	このタスクがデータ処理後に出力するレコード数は、Sparkシナリオでは、おおよそSpark UIのステージ出力レコードの合計に相当します。
*出力総サイズ	このタスクがデータ処理後に出力するレコードサイズは、Sparkシナリオでは、おおよそSpark UIのステージ出力サイズの合計値に相当します。
*データシャッフル行数	Sparkシナリオでは、おおよそSpark UIのステージシャッフル読み取りレコードの合計に相当します。（この指標はタスク完了後にのみ統計可能です。）
*データシャッフルサイズ	Sparkシナリオでは、おおよそSpark UIのステージシャッフル読み取りサイズの合計に相当します。（この指標はタスク完了後にのみ統計可能です。）
*ヘルスステータス	タスクを分析して健康状態を判断し、最適化が必要かどうかを確認します。詳細はタスクインサイトをご参照ください。（この指標はタスク完了後にのみ統計可能です。）