tencent cloud

文档反馈

使用 HDFS 协议访问已开启元数据加速器的存储桶

最后更新时间:2022-04-18 12:26:07

    元数据加速器概述

    元数据加速器是由腾讯云对象存储(Cloud Object Storage,COS)服务提供的高性能文件系统功能。元数据加速器底层采用了云 HDFS 卓越的元数据管理功能,支持用户通过文件系统语义访问对象存储服务,系统设计指标可以达到2.4Gb/s带宽、10万级 QPS 以及 ms 级延迟。存储桶在开启元数据加速器后,可以广泛应用于大数据、高性能计算、机器学习、AI 等场景。有关元数据加速器的详细介绍,请参见 元数据加速器

    使用 HDFS 协议访问的优势

    以往基于对象存储 COS 的大数据访问主要使用 Hadoop-COS 工具来访问。Hadoop-COS 工具内部将 HCFS 接口适配为对象存储的 Restful 接口,从而对对象存储上的数据进行访问。由于对象存储和文件系统在元数据组织方式上的差异,导致元数据操作性能上存在性能差异,从而影响了大数据分析性能。开启元数据加速器的 Bucket,完全兼容 HCFS 协议,可以采用原生的 HDFS 接口直接访问,除了省去了 HDFS 协议到对象协议的转换开销外,更能提供原生 HDFS 的一些功能,例如目录原子高效 Rename、文件 Atime、Mtime 更新、高效目录 DU 统计、Posix ACL 权限支持等原生特性。

    准备工作

    1. 创建 COS 存储桶,并且开启元数据加速器。

    2. 当 Bucket 创建完成后,进入存储桶的文件列表页面,可在控制台进行文件上传和下载操作。

    3. 单击左侧菜单栏中的性能配置 > 元数据加速能力,可以看到元数据加速能力已开启。如果是第一次创建需开启元数据加速的存储桶,则需要按照提示进行相应的授权操作,单击授权完成后,将自动开启 HDFS 协议,并且看到默认的 Bucket 挂载点信息。

    说明:

    如果提示未找到对应的 HDFS 文件系统,请单击 提交工单 联系我们获取帮助。

    1. 开启 HDFS 协议开关后,需要配置 VPC 访问权限。在 HDFS 权限配置标签页,单击新增权限配置按钮,在 VPC 网络名称列选择计算集群所在的 VPC 网络地址,在节点 IP 地址列,填写 VPC 网段下需要放通的 IP 地址或者 IP 段。访问类型可以选择读写或者只读,配置完成后,单击保存即可。
    说明:

    HDFS 权限配置与原生 COS 权限体系存在差异。当您使用 HDFS 协议访问时,推荐通过配置 HDFS 权限授权指定 VPC 内机器访问 COS 存储桶,以便获取和原生 HDFS 一致的权限体验。
    5. HDFS 协议默认采用原生 POSIX ACL 方式进行鉴权,如果需要使用 Ranger 鉴权,可以在 HDFS 鉴权模式下,选择 Ranger 鉴权模式,配置上 Ranger 相应的地址信息即可。

    说明:

    您可以参见 HDFSranger 鉴权 文档,配置 Ranger 服务,通过Ranger 服务以 HDFS 协议访问 COS。

    1. 创建环境后,需要在计算集群配置 core-site.xml,具体参考文档配置 HDFS协议配置,如果您使用的是腾讯云 EMR,则可以直接使用 EMR 的默认配置,无需额外配置。
      注意:

      fs.ofs.bucket.region 必须配置,该参数用于指定存储桶所在的 COS 地域,例如 ap-shanghai

    2. 下载 HDFS 协议访问的 客户端安装包,请确保安装包的版本在 2.7及其以上。下载后,讲安装包放置到 Hadoop 集群中每台服务器正确的 classpath 路径下,例如 /usr/local/service/hadoop/share/hadoop/common/lib/(根据实际情况防止,不同组件可能放置的位置也不一样),然后重启 YarnHivePrestoImpala 等一些常驻服务。
    3. 所有环境配置完成后,可以在客户端使用 Hadoop 命令行来查看是否挂载成功,如下图所示:
    4. 您也可以登录 COS 控制台,查看存储桶文件列表,明确文件和目录是否一致。

    通过 HDFS 协议访问 COS

    大数据场景下,您可以参考如下步骤以 HDFS 协议访问开启元数据加速能力的存储桶:

    1. core-stie.xml 中配置 HDFS 协议相关挂载点信息,如准备工作中所示。
    2. 通过 Hive、MR、Spark 等组件访问存储桶,请参见 在计算集群中挂载 COS 存储桶
    3. 默认情况下,采用原生 POSIX ACL 方式进行鉴权,如果需要使用 Ranger1鉴权,可以参考 Ranger 相关原理和实践访问,可参见 在 CDH 集群上通过 HDFS 协议访问 COS
    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持