tencent cloud

腾讯云 TI 平台

产品简介
产品概述
产品定价
客户价值
应用场景
购买指南
计费概述
购买方式
续费说明
欠费说明
安全合规
数据安全保护机制
监控、审计与日志
安全合规资质
快速入门
平台使用准备
操作指南
大模型广场
任务式建模
开发机
模型管理
模型评测
在线服务
资源组管理
数据源管理
Tikit
GPU 虚拟化
实践教程
LLM 部署及推理
LLM 训练及评测
内置训练镜像列表
自定义训练镜像规范
Angel 训练加速功能介绍
基于标签实现子用户间资源隔离
相关协议
TI Platform 隐私协议
TI Platform 数据处理和安全协议
开源软件信息
联系我们

大模型训练所需资源指南

PDF
聚焦模式
字号
最后更新时间: 2025-05-09 15:54:36
本文旨在介绍 TI-ONE 平台进行大模型训练时,可保障模型正常运行的配置资源,仅供您参考。
以下是平台内置开源大模型的训练推荐资源

推荐资源(SFT-FULL)
BatchSize=1,MaxSequenceLength=2048
推荐资源(SFT-LORA)
BatchSize=1,MaxSequenceLength=2048
7b以下模型
HCCPNV6 机型:3b模型以下1卡;7b/8b模型2卡;
HCCPNV6 机型:1卡
13b模型
HCCPNV6 机型:4卡
HCCPNV6 机型:1卡
32b模型
HCCPNV6 机型:8卡
HCCPNV6 机型:2卡
70b模型
HCCPNV6 机型:2机16卡
HCCPNV6 机型:4卡
DeepSeek-R1-671b/DeepSeek-V3-671b
HCCPNV6 机型:32机256卡
暂不支持
Hunyuan-large
HCCPNV6 机型:8机64卡
HCCPNV6 机型:8卡
平台内置开源大模型默认使用 LORA 的精调方式,可通过 FinetuningType 参数配置。
7b模型需要100核,500g内存单节点;13b和70b模型需要150核,1T内存单节点,更大尺寸模型建议用满整机资源。
部分模型使用 tilearn 加速技术,在推荐资源上训练能有30%左右加速效果。



帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈