tencent cloud

请输入关键字

Recent Pages

创建数据作业

最后更新时间：2022-09-02 17:34:51

前期准备

在开始创建数据作业前，您需先完成数据访问策略配置，以保证数据作业能安全的访问您的数据。配置步骤请参见配置数据访问策略。

创建步骤

登录数据湖计算 DLC 控制台，单击左侧菜单数据作业进入数据作业管理页。
单击创建作业按钮，进入创建页。

配置参数如下：

配置参数	说明
作业名称	支持中文、英文、数字和英文下划线，最多40个字符
作业类型	批处理：基于 Spark jar 的批处理数据作业流处理：基于 Spark Streaming 的流式数据作业
数据源连接	批处理中需要访问的数据源连接选择，目前支持 ckafka，需在作业配置中进行提前配置
数据引擎	可选具有使用权限的 Spark 作业类型的数据引擎若选择了数据源连接，则仅可选择与数据源连接的数据引擎
程序包	支持 jar 格式。支持选择对象存储 cos 内文件或本地上传，本地上传不可超过5MB，如程序包超过5MB可先将程序包上传到 cos 后使用。支持直接填写 cos 存储路径
依赖 jar 资源	支持 jar 格式，可选择多个支持选择对象存储 cos 内文件或本地上传，本地上传不可超过5MB，如程序包超过5MB可先将程序包上传到 cos 后使用。支持直接填写 cos 存储路径，多个路径以“;”隔开
依赖 file 资源	支持选择对象存储 cos 内文件或本地上传，本地上传不可超过5MB，如程序包超过5MB可先将程序包上传到 cos 后使用。支持直接填写 cos 存储路径，多个路径以“;”隔开
CAM Role arn	在作业配置中配置的数据访问策略，指定了数据作业可访问的数据范围。详细配置说明参见配置数据访问策略
Main Class	参数 jar 包的主类参数，多个参数使用空格分割
作业参数	作业-config 信息，spark.开头的参数，按照 k=v 格式填写，多个参数换行填写。示例：spark.network.timeout=120s
资源配置	可配置数据作业的引擎资源，可配置资源数不超过所选的数据引擎规格。资源说明：1CU≈1核4G 计费 CU 数 = Executor 资源 * Executor 数量 + Driver 资源按量计费的数据引擎费用将按计算 CU 数的使用量收取

完成配置填写后，保存即可完成创建。

联系我们

联系我们，为您的业务提供专属服务。

技术支持

如果你想寻求进一步的帮助，通过工单与我们进行联络。我们提供7x24的工单服务。

7x24 电话支持