tencent cloud

文档反馈

数据引擎说明

最后更新时间:2022-08-16 09:42:00

    DLC 的数据引擎是 DLC 的数据分析计算服务的基础,用户在 DLC 进行的所有计算都需要使用数据引擎。根据用户的使用场景不同,可选择共享引擎或独享引擎。

    共享引擎

    共享引擎(public-engine)是 DLC 服务开通后自带的数据引擎,适合分析频率低、计算数据量较小的场景使用。用户无需配置、管理资源,按任务扫描量计费(具体资费参见 计费概述 ),不运行则不计费,具有高灵活、高可用的特点。

    DLC 为 Serverless 架构,在一段时间内首次执行任务需要调度数据引擎,等待时间可能稍长。

    独享引擎

    独享引擎是用户付费购买的专属于自己的数据引擎,资源使用按量计费,具体资费参见 计费概述

    • 按量计费:适合分析数据具有周期性,需根据业务峰谷进行弹性伸缩的用户,具有高灵活、高稳定对的特点,按 CU 使用量付费。
    • 包年包月:适合长期大量稳定的数据分析需求,可根据业务峰谷进行弹性伸缩,无需等待资源拉起,随时可用,按集群规格按月付费,弹性扩容集群按 CU 使用量计费。

    计算引擎类型

    根据不同的使用场景,独享引擎可以选择不同的计算引擎来应对不同场景。

    • SparkSQL:适用于稳定高效的离线 SQL 任务。
    • Spark 作业:适用于 Spark 原生的流式/批式数据作业处理。
    • Presto:适用于敏捷、快速的交互式查询分析。
    注意:

    不同计算引擎类型不影响独享引擎计费单价。

    引擎扩缩容规则

    • 基本规则:当配置数据引擎的最大集群数>最小集群数时,该数据引擎才会产生扩缩容。
    • 扩容规则:当数据引擎目前存在的排队任务>空闲的并发容量,且没有正在初始化的集群时,系统将会按照配置规则对数据引擎进行扩容。
    • 缩容规则:当数据引擎目前的集群数>最小集群数,系统将会把处于闲置状态一定时间的集群进行销毁处理。
    注意:

    数据引擎的集群数量不会少于配置的最小集群数,按量付费集群若无需使用,可对集群进行挂起操作。

    引擎运行状态

    集群根据当前运行情况,分为启动中、运行、暂停、暂停中、变配中、隔离、隔离中、恢复中八个状态。

    • 启动中:该集群资源正在被拉起,按量计费的独享引擎此时不计费。启动中的集群无法被数据计算选中使用。
    • 运行:该集群正在运行,可被数据计算选中使用。
    • 暂停:该集群暂停使用,无法被数据计算选中使用。
    • 暂停中:该集群正在切换为暂停状态,会影响正在运行的任务,无法被数据计算选中使用。
    • 变配中:该集群正在进行配置变更,配置变更期间将无法被数据计算使用。
    • 隔离:由于账号欠费导致的集群被隔离,无法被数据计算选中使用。
    • 隔离中:由于账号欠费导致,集群正在切换为隔离状态,会影响正在运行的任务,无法被数据计算选中使用。
    • 恢复中:账号通过充值不再欠费后,集群由隔离状态恢复到运行状态的过程,无法被数据计算选中使用。
    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持