tencent cloud

弹性 MapReduce

文档弹性 MapReduceEMR 开发指南Hadoop开发指南自动扩容 Task 节点不分配 ApplicationMaster

自动扩容 Task 节点不分配 ApplicationMaster

PDF
聚焦模式
字号
最后更新时间: 2023-07-12 10:37:09

功能介绍

在自动扩缩容场景下,缩容规则触发时,即将被销毁的 Task 节点若正在运行着 ApplicationMaster(AM),那么节点在销毁的同时,运行的 AM 也会随之销毁,会导致当前 Job 整体失败。 在自动扩缩容场景下,通过扩容添加的 Task 节点默认不分配 ApplicationMaster,保证缩容Task节点时,运行的 ApplicationMaster不被销毁,Job 可以正常进行。

功能特性

通过对 YARN 的源码改造以及对自动扩容流程增加配置项,实现自动扩容添加的 Task 节点将不会被分配 AM,AM 将会全部分配到非自动扩容的 Task 节点,自动扩容添加的 Task 节点仅承担计算任务;当对 Task 节点进行缩容时,只有正在运行的计算任务的节点会被销毁,但对应 AM 仍然保持存活状态,AM 可以重新在其他节点重试相关的计算任务,当前整个 Job 可以继续进行下去。

适用范围

仅对自动扩容的 Task 节点生效,手动扩容不生效。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈