选择资源规格与查看排队情况
训练任务创建前,先把训练代码需要的资源形状翻译成平台上的 Worker 规格、Worker 数量 和资源来源。这样能提前判断任务会立即启动、进入排队,还是需要调整规格。
先确定训练代码需要几个 Worker
普通训练任务中的 Worker 可以理解为一台承载训练进程的计算单元。创建任务时需要决定:
- 每个 Worker 使用几张 GPU。
- 一共启动几个 Worker。
- 每个 Worker 的 GPU 数量是否必须相同。
- 是否需要 8 卡规格和 RDMA 网络。
例如,PyTorch DDP 任务如果希望启动 2 个节点、每个节点 8 张 GPU,则应选择 8 卡 Worker 规格,并将 Worker 数量 设置为 2。
用可启动数量判断是否能放置
使用包年包月资源时,选择资源池后先看目标规格的 可启动数量。可启动数量表示当前资源池中还能放置多少个该规格 Worker,不等于资源池里的总空闲 GPU 数。
如果目标规格可启动数量为 0,可以继续检查:
- 空闲 GPU 是否分散在多个资源节点上,导致无法拼成目标规格。
- 是否已有其他任务、开发机或推理服务占用同一资源池。
- 是否可以改用更小的 Worker 规格 或减少 Worker 数量。
用占用情况和负载排队情况判断等待还是改规格
在包年包月资源创建页中,使用以下入口判断资源状态:
- 占用情况:查看资源池中各资源节点的 GPU 占用,判断空闲 GPU 是否集中在可启动目标规格的位置。
- 负载排队情况:查看是否已有负载等待同一资源池,判断继续等待还是调整资源规格。
如果任务对完成时间敏感,优先选择可启动数量足够的规格;如果任务必须使用完整 8 卡节点,排队等待通常比强行拆成非 8 卡规格更稳妥。
只在训练代码支持时开启自定义卡数
默认情况下,平台要求所有 Worker 使用相同规格。只有当训练代码能接受 Worker 之间 GPU 数量不同,才使用 自定义卡数。
不建议为普通 DDP 训练随意开启 自定义卡数。很多训练脚本默认每个节点 GPU 数量一致;如果某个 Worker 是 8 卡、另一个 Worker 是 2 卡,脚本可能需要额外处理 batch size、进程数和 rank 映射。
为 RDMA 选择完整 8 卡规格
需要 RDMA 网络时,优先选择 训练网配置 支持 RoCE 或 IB 的 8 卡 Worker 规格。GPU 数量小于 8 卡时通常无法开启 RDMA。
如果使用自定义镜像并启用 RDMA,提交前确认镜像内依赖满足要求。详见RDMA 网络。
使用 Spot 资源时先看库存、自动排队和恢复能力
Spot 资源不通过包年包月资源池分配。创建时重点查看 可用区、GPU 型号、库存、价格和 训练网配置,并配置自动排队规则。
多 Worker Spot 训练任务按整任务成组调度。判断库存时,需要确认整个任务所需的 Worker 规格和 Worker 数量能被同时满足,而不是只看单个 Worker 是否有库存。
创建 Spot 工作负载时,需要配置是否开启自动排队。自动排队默认关闭;开启后,可用资源不足时工作负载会自动进入队列等待资源,运行中工作负载被抢占后也可按规则重新排队。
- 单次最大排队时长:每次进入队列后可等待的最长时间,取值范围为 1-12 小时,需填写整数。重新排队后从 0 重新计时。
- 最大重新排队次数:因资源不足或工作负载被抢占导致重新排队时,最多允许再次进入队列的次数,取值范围为 0-3 次,需填写整数。设置为 0 表示不允许再次重新排队。
提示
排队时长不按重新排队次数叠加计算;每次排队单独计时。任一规则达到上限后,系统停止自动排队,工作负载进入异常状态,需要人工处理。部分详情页可能将“最大重新排队次数”显示为“最大重试次数”,两者对应同一项配置。
使用 Spot 资源前确认训练代码满足以下条件:
- checkpoint 和日志写入共享高性能存储。
- 任务重启后能从最近 checkpoint 继续训练。
- 确认训练脚本报错时,创建页中的 启动命令 也会以失败状态结束。
满足这些条件后,再继续使用 Spot 资源提交训练任务。