Tencent Cloud

Recent Pages

创建 EMR 集群

最后更新时间：2023-12-27 09:58:25

操作场景
本文为您介绍通过 EMR 控制台创建一个 EMR 集群的操作。
操作步骤
登录 EMR 控制台，在集群列表页单击创建集群。
1. 软件配置
地域：地域（Region）是指物理的数据中心的地理区域，支持地域有：广州、上海、北京、新加坡、硅谷、成都、南京、孟买等；不同地域的云产品之间内网不互通。
集群类型：EMR 目前支持六种集群部署方式，分别为 Hadoop 集群、ClickHouse 集群、Druid 集群、Doris 集群、Kafka 集群、StarRocks 集群；需根据实际业务需要选择集群类型进行部署。
应用场景：基于 Hadoop 集群类型支持五种应用场景，分别为：默认场景、zookeeper、HBase、Presto、Kudu；根据实际业务需要选择相应的应用场景进行部署。
产品版本和部署组件：EMR 推荐了一些常用的 Hadoop 组件搭配，您也可以根据自身需求组合各组件。
Kerberos 安全集群：是否开启集群的 Kerberos 认证功能，一般的个人用户集群无需该功能，默认关闭。
软件配置：按照要求填写参数可实现自定义软件参数创建集群，同时兼容访问外部集群功能，在参数中正确配置访问地址信息即可读写外部集群的数据。
﻿
﻿
2. 区域与硬件配置
计费模式：支持按量计费模式。
按量计费：按照使用时长付费，需对账户进行实名认证，在开通时需冻结2小时的费用（代金券不可用作冻结凭证），销毁时退还冻结资源费用。
可用区：同一地域下不同可用区支持机型规格不同，建议选择最新可用区；处在不同地域的云产品内网不通，购买后不能更换。建议选择靠近业务数据的地域可用区，以降低访问延迟、提高下载速度。
集群网络：为保证EMR集群的安全性，我们会将集群各节点放入一个私有网络中，您需要设置一个私有网络以保证 EMR 集群的正确创建。
安全组：安全组具有防火墙功能，用于设置云服务器 CVM 的网络访问控制。如果没有安全组，EMR 会自动帮您新建一个安全组。若已经有在使用的安全组可以直接选择使用。若安全组数量已达到上限无法新建，可删除部分不再使用的安全组。查看已在使用的安全组。
创建安全组：EMR 帮助用户创建一个安全组，开启22和30001端口及必要的内网通信网段。
已有EMR安全组：选择已创建的 EMR 安全组作为当前实例的安全组，开启22和30001端口及必要的内网通信网段。
远程登录：22端口常用于远程登录，新建安全组将默认开启，您可以根据业务需要关闭该端口。
高可用（HA）：默认启动高可用，不同集群类型和应用场景在 HA 或非 HA 场景下，不同节点类型部署数量不同，详见 集群类型。
节点配置：EMR提供了多种节点类型，可以根据业务需要为不同节点类型选择合适机型配置。
说明
目前支持 Core 节点、Task 节点和 Router 节点挂载多种云盘类型（每种云盘类型最多只能选择1次）和多块云盘（最多15块）。
﻿
﻿
﻿
﻿
﻿
﻿
置放群组：放置群组是云服务器实例在底层硬件上分布放置的策略，可参考 置放群组。
Hive 元数据库：如果选择了 Hive 组件，Hive 元数据库提供了两种存储方式：第一种集群默认，Hive 元数据存储于集群独立购买的MetaDB；第二种是关联外部 Hive 元数据库，可选择关联 EMR-MetaDB 或自建 MySQL 数据库，元数据将存储于关联的数据库中，不随集群销毁而销毁。
3. 基础配置
所属项目：将当前集群分配给不同的项目组，如果您要将实例分配至新的项目，请先新建项目。具体操作请参考新建项目
集群名称：通过设置集群名称，来区分不同的EMR集群。
登录方式：目前 EMR 提供两种登录集群服务、节点、MetaDB 的方式，自定义设置密码方式和关联密钥方式；SSH 密钥仅用于 EMR-UI 快捷入口登录。其中，用户名默认为“root”，superset 组件 webUI 快捷入口的用户名为“admin”。
高级设置：
引导操作：引导脚本操作方便您在创建集群的过程中执行自定义脚本，以便您修改集群环境、安装第三方软件和使用自有数据。
标签：您在创建时对集群或节点资源添加标签，以便于管理集群和节点资源，最多可绑定5条，标签键不可重复。
﻿
﻿
﻿
4. 确认配置信息
自动续费：系统将在集群到期前7天，每天检测用户账户上的可用余额是否充足，设置为自动续费的集群资源进行续费。
完成以上配置后，单击购买进行支付，支付成功后EMR集群进入创建过程，大约10分钟后即可在EMR控制台中找到新建的集群。

﻿
﻿
﻿
注意
 您可以在 CVM 控制台中查看各节点的实例信息，为保证 EMR 集群的正常运行，请不要在 CVM 控制台中更改这些实例的配置信息。
后续步骤
集群创建成功后，您可根据自身情况登录集群后，对集群进行进一步的配置等操作，具体操作可参考如下文档：
登录集群
配置集群：软件配置、挂载 CHDFS、统一 HIVE 元数据
管理集群：设置标签、设置引导操作、集群销毁