tencent cloud

批量计算

产品简介
什么是批量计算?
应用场景
产品优势
名词解释
配额限制
数据安全
购买指南
快速入门
开始前的准备
命令行快速开始
命令行快速开始-计算环境
作业配置说明
控制台快速开始
控制台使用指南
任务模板管理
作业管理
用户指南
如何制作批量计算可用的镜像
Windows 自定义镜像
环境变量
COS、CFS 路径填写
事件通知和回调
访问管理
命令行工具
前置准备
简单开始
执行远程代码包
远程存储映射
实践教程
使用计算环境搭建集群
3ds Max 2018 渲染示例
深度学习示例
API 文档
History
Introduction
API Category
Making API Requests
Compute Environment APIs
Configuration Viewing-related APIs
Task Template-related APIs
Job-related APIs
Data Types
Error Codes
SDK文档
使用指南
常见问题
联系我们
词汇表

名词解释

PDF
聚焦模式
字号
最后更新时间: 2024-01-13 11:19:28

作业

作业(Job)是用户提交批处理工作的最小单位,它由单个或多个有前后依赖关系的任务组成。可以通过非常易用的 DAG 语法,来给多个批处理任务设置依赖关系,共同组成一个作业,然后依次执行各个任务,直到所有任务完成,即作业完成。任务间的依赖关系只能在作业提交时指定,提交完成后不能进行修改。




任务

任务(Task)是作业的基本组成单位,包含了实际在一台云服务器上执行的应用程序的相关信息。Batch 调度系统根据用户提交的配置,自动创建 CVM,安装镜像,执行程序。任务不可以直接提交,必须放入一个作业后才可以提交执行,作业支持放置单个任务,也可以放置多个任务。
任务最核心的可配置属性如下:
CVM 实例配置 :任务是执行在 CVM 上的,您需要根据您计算任务的特性,去配置 CVM 实例的类型和配置,例如选择计算型实例(C2)还是高IO型实例(IO2)、内存和磁盘大小、实例所处于的 VPC 网络等。
执行环境:包含镜像和命令配置,镜像一般是自定义镜像,里面包含您的应用程序和它所依赖的环境,而命令则指定如何启动这些应用程序来进行计算。
远程存储映射:支持将远程存储地址映射到本地文件系统地址,目前支持 COS,详细见后面单独名词解释。
标准输出:您可以配置标准输出的映射地址(COS),应用程序里输出到 stdout 和 stderr 的信息将会在任务完成后被上传到对应地址,这样可以在任务完成后回溯计算过程。

任务模板

可以将常用的任务制作成任务模板,基于任务模板定制不同的任务,实现作业的快速提交。

远程存储映射

存储映射即将远程存储地址(对象存储 COS 或文件存储 CFS)映射到 CVM 的本地文件系统,这样可以操作本地文件系统的方式来读写远程存储。

任务实例

任务实例是 Batch 调度和执行的最小单元。一个任务包含单个或多个任务实例。每一个任务实例运行在一台 CVM 实例上,执行相应的计算任务。您可以在任务配置里设置需要并发执行的实例数目,Batch 会在任务被启动时以同样的配置调度指定数目的实例,您可以在执行程序里通过环境变量来区分这些实例。
多实例的典型运用场景是输入数据可切割然后并行处理的场景,这样可以充分的运用云上弹性资源的优势进行并行计算,提高工作效率。

镜像

镜像(Image)配置在任务里,创建实例时使用,它必须是一个标准的或者自定义的 CVM 镜像,您需要预先将计算环境和应用程序准备好并制作成自定义镜像,您可以在 镜像控制台 查看您的自定义镜像,如何制作自定义镜像请参见 创建自定义镜像

计算环境

计算环境(ComputeEnv)是由单台或多台 CVM 实例组成的计算集群,可根据业务需求扩容或缩容。当任务配置指定了计算环境,任务实例会调度到指定计算环境的节点上执行;当没有指定计算环境时,Batch 会创建 CVM 实例用于执行任务实例,并默认在任务实例完成后销毁 CVM 实例。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈