tencent cloud

Data Lake Compute

エンジンレベルパラメータ設定

下载
聚焦模式
字号
最后更新时间: 2025-12-24 16:43:14
説明:
現在、SparkSQLエンジンとSparkジョブエンジンの設定をサポートしています。
Sparkパラメータは、Apache Sparkアプリケーションの設定とチューニングに使用されます。自社構築のSparkでは、これらのパラメータはコマンドラインオプション、設定ファイル、またはプログラミング方式で設定できます。DLCでは、SparkSQLエンジンとSparkジョブエンジンのSQLおよびコードでSparkパラメータを指定できるほか、エンジンレベルのパラメータを直接設定することも可能です。エンジンレベルのSparkパラメータ設定は以下の通りです。

エンジンレベルパラメータ設定

1. SupersSQLエンジンモジュールに移動し、パラメータ設定をクリックすると、エンジンパラメータのサイドパネルが表示されます。
2. Sparkジョブエンジンでは、ジョブのデフォルトリソース仕様とパラメータを設定できます。SparkSQLエンジンでは、ジョブのデフォルトリソース仕様を気にする必要はありません。


エンジンレベルパラメータを使用する

Sparkジョブエンジンはエンジンレベルのパラメータを使用します

Sparkジョブエンジンでジョブを提出するには2つのエントリがあります:データジョブデータ探索。どちらもエンジンレベルのパラメータを使用できます。
データジョブを作成する際、デフォルトでエンジンレベルのパラメータとリソース設定を継承します。ジョブパラメータ(--config)を使用してエンジンレベルパラメータを上書きでき、エンジンレベルのリソース設定を継承するかどうかを選択できます。デフォルト設定を選択すると、エンジンレベルのリソース設定が使用されます。

データ探索でSparkジョブエンジンを使用してSQLを実行する際、デフォルトでエンジンレベルのパラメータとリソース設定を継承します。SQLのsetコマンドを使用してエンジンレベルパラメータを上書きでき、エンジンレベルのリソース設定を継承するかどうかを選択できます。


SparkSQLエンジンはエンジンレベルのパラメータを使用します

SparkSQLエンジンにはエンジンレベルのリソースパラメータがなく、タスクは可能な限りクラスターリソースを最大限に使用します。現在、SparkSQLエンジンはデータ探索でSQLを提出する必要があります。データ探索でSparkSQLエンジンを使用してSQLを実行する際、デフォルトでエンジンレベルのパラメータを継承します。SQLのsetコマンドを使用してエンジンレベルパラメータを上書きできます。




帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈