tencent cloud

弹性 MapReduce

文档弹性 MapReduceEMR 开发指南Hadoop开发指南YARN 作业日志转存 COS

YARN 作业日志转存 COS

PDF
聚焦模式
字号
最后更新时间： 2021-07-01 15:33:55
Hadoop 默认将 YARN 的作业日志存储在 hdfs 上，腾讯云 EMR 还提供了将 YARN 作业日志存储在外部存储 COS 上。

前提条件

EMR 集群需要支持 COS，详情可参考 使用 API 分析 HDFS/COS 上的数据。

操作步骤

1. 在 yarn-site.xml 修改配置，并配置下发所有节点。
yarn.nodemanager.remote-app-log-dir=cosn://[bucket_name]/[logs_dirs]
2. 在core-site.xml新增配置，并配置下发所有节点。
fs.AbstractFileSystem.cosn.impl=org.apache.hadoop.fs.cosnative.COS
3. 重启集群所有 nodemanager/datanode 服务。
4. 运行 hive/spark 作业，查看存储在 COS 上的作业日志。
hdfs dfs -ls cosn://[bucket_name]/[logs_dirs]
上一篇: 使用 API 分析 HDFS/COS 上的数据下一篇: Spark 环境信息

帮助和支持

本页内容是否解决了您的问题？

填写满意度调查问卷，共创更好文档体验。

文档反馈