智能分层存储简介

最后更新时间:2022-01-17 12:31:17

    简介

    智能分层存储类型为数据提供了冷热分层机制,能够根据用户数据的访问模式,自动地转换数据的冷热层级,从而降低用户数据的存储成本。

    智能分层存储适用于访问模式不固定或者无法预估访问模式的数据,为用户提供了与标准存储一致的低延迟和高吞吐的产品体验,但成本上则低于标准存储。用户可以按照自身业务需求,将访问模式不固定的数据从标准存储类型转换为智能分层存储类型,降低云上存储成本。

    注意:

    • 智能分层存储类型当前仅支持北京、上海、广州、重庆、东京地域。
    • 智能分层存储类型为独立的存储类型,使用时将产生智能分层存储容量费用,更多计费信息请参见 产品定价

    优势

    当用户上传数据时选择以智能分层存储类型存放到 COS,COS 将周期性地监测数据访问次数,在持续一段时间没有数据访问时,将数据转移至存储成本更低的访问层。如果数据重新被访问,则会被重新转移到高频访问层上,保障数据读取性能。通过数据冷热分层存储,智能分层能够帮助用户在存储成本和读写性能之间寻找平衡点。使用智能分层存储具有以下优势:

    • 成本集约:当数据持久化存储为智能分层存储类型时,存储时间越长,则相较存储于标准存储的成本越低,最多可节约20%左右的存储成本。智能分层存储类型还参与对象存储生命周期流程,用户可以按需将智能分层存储沉降到归档存储中,进一步降低数据存储成本。
    • 稳定持久:智能分层存储提供与标准存储一致的低时延和高吞吐体验。同时,智能分层存储采用纠删码冗余存储的方式,提供了高达99.999999999%(11个9)的数据可靠性;数据分块存储,并发读写,提供高达99.95%的业务可用性。
    • 便捷易用:只需为数据指定对象存储类型,即可应用智能分层存储特性。智能分层存储作为一种存储类型,天然适配 COS 的 API、SDK、工具以及生态应用,方便用户按需管理存储在云上的数据。

    使用方法

    将数据以智能分层存储类型存放到 COS,首先需要为存储桶开启智能分层配置。开启后,用户在上传对象时将存储类型指定为智能分层存储类型即可。

    使用对象存储控制台

    上传对象时设置为智能分层存储

    用户可以参照以下步骤将对象保存为智能分层存储类型:

    1. 在存储桶配置页面,开启智能分层存储配置,详细流程可参见 设置智能分层存储 文档。
    2. 上传文件,并在上传时指定文件存储类型。文件的上传指引可参见 上传对象 文档。
    注意:

    存储桶的智能分层存储配置开启后,将无法关闭,请谨慎配置。

    将云上数据转换为智能分层

    用户可以参照以下步骤将已上传的存量数据转换为智能分层存储类型:

    1. 在存储桶配置页面,创建生命周期规则,详细流程可参见 设置生命周期 文档。
    2. 设置指定的规则应用范围,将数据沉降为智能分层存储。

    使用 REST API

    您可以直接通过以下 API 配置智能分层存储:

    1. 首先使用 REST API 为存储桶开启智能分层存储,请参见以下 API 文档:
    2. 存储桶开启智能分层存储,您可以参见以下 API 文档,将对象上传为智能分层存储类型:
    3. 如需查询对象的存储类型和所处的存储层,请参见以下 API 文档:
    4. 您可以直接使用 REST API 删除智能分层存储类型的对象,请参见以下 API 文档部分:

    使用 SDK

    当前 COS 所发布的 SDK 都支持使用智能分层存储类型,具体方法是在文件上传时,将 StorageClass 参数设置为 INTELLIGENT_TIERING,实现直传智能分层存储。详情请参见 SDK 概览

    使用限制

    使用智能分层存储存在以下限制:

    • 配置限制:首次配置后不可更改,如需更改,请 联系我们
    • 初始存储层限制:智能分层存储类型的新增对象,默认处于高频访问层;持续一段时间无访问后才会转换至低频访问层。
    • 最短存储时间限制:智能分层存储类型的对象,最短存储时间为30天;低于30天则按照30天收费。
    • 最小存储单元限制:小于64KB的对象只能持久存储于高频访问层中,不会在高频访问层和低频访问层之间转换。单个存储文件不论大小,均按实际数据大小计费。
    • 操作限制:不支持通过追加上传接口将对象上传为智能分层存储类型。
    • 生命周期限制:智能分层存储类型仅可转换为归档存储或者深度归档存储类型。标准存储类型沉降为智能分层存储类型时,将存储在高频访问层;低频存储类型沉降为智能分层存储类型时,将存储在低频存储访问层。
    • 存储桶复制限制:存储桶复制时,如果目标存储桶未开启智能分层存储配置,则无法将对象复制为智能分层存储类型。

    常见问题

    智能分层存储是如何计费的?

    智能分层存储包含智能分层存储容量费用智能分层对象监控费用。其中:

    1. 智能分层存储容量费用会根据文件所处的存储层收取不同的存储费用。
      • 当文件处于高频层时,按照标准存储容量费用收费。
      • 当文件处于低频层时,按照低频存储容量费用收费。
        说明:

    2. 智能分层对象监控费用按存储的文件数来计算,每月每万个监控对象会收取0.025美元。

    示例

    假设企业拥有1TB文件,每个文件10MB,总共100000个文件,数据以智能分层存储类型存储在北京地域。假设每个月都会有20%的文件(即20000个文件)沉降到低频层,那么每个月的对象监控费用和存储费用,如下表所示:

    存储月份 对象监控费用(美元) 智能分层存储费用(美元) 标准存储费用(美元)
    1 0.25 1024 x 0.024 = 24.58 1024 x 0.024 = 24.58
    2 0.25 819.2 x 0.024 + 204.8 x 0.018 = 23.35 1024 x 0.024 = 24.58
    3 0.25 655.36 x 0.024 + 368.64 x 0.018 = 22.36 1024 x 0.024 = 24.58
    4 0.25 524.288 x 0.024 + 499.712 x 0.018 = 21.58 1024 x 0.024 = 24.58
    5 0.25 419.4304 x 0.024 + 604.5696 x 0.018 = 20.95 1024 x 0.024 = 24.58
    6 0.25 335.54432 x 0.024 + 688.45568 x 0.018 = 20.45 1024 x 0.024 = 24.58

    可以看到,随着存储时间越长,每个月只需要付出少量的监控成本,即可带来明显的成本降低。

    智能分层适用于什么类型文件?

    智能分层存储适用于音视频、日志等平均文件较大,且访问模式不固定的文件。平均文件容量越大,意味着您平均每 GB 文件需要付出的监控费用越少;如果您的业务访问模式比较固定,则意味着您可以通过生命周期配置好指定时间沉降到低频存储上,而不需要使用智能分层存储。

    如何将文件存储为智能分层存储?

    您可以通过以下两种方式将文件存储为智能分层存储:

    • 增量文件:您只需要在上传时指定好存储类型为智能分层存储,即可将文件存储为智能分层存储。
    • 存量文件:您可以通过 COPY 接口将文件存储类型修改为智能分层存储类型;或者通过生命周期功能,将标准存储,低频存储类型沉降为智能分层存储类型。
    注意:

    由于智能分层有64KB的最小存储单元限制,小于64KB的文件会一直存储在标准层中。因此小于64KB的文件推荐按需直接上传标准/低频/归档/深度归档等存储类型,这样能够降低成本。

    如何关闭智能分层存储配置?

    智能分层存储配置开启后无法关闭,如果您无需将文件存储为智能分层存储,您只需要在上传文件时将文件存储类型指定为标准存储、低频存储、归档存储或者深度归档存储等非智能分层存储类型即可。