算力资源模型
智算云平台的算力资源模型分为两层:用户先购买或申请算力资源,再在创建开发机、任务 Worker 或推理实例时选择单个容器实际使用的算力规格。
这和直接租用一台 8 卡物理机不同。用户不需要登录固定物理机器,也不需要手动指定 GPU 编号。平台会根据资源节点当前占用情况,把容器自动放置到可用资源上。
资源来源和运行规格
理解算力资源模型时,需要先区分“获得了多少算力资源”和“单个容器使用多少算力资源”。
- 资源来源:例如包年包月资源、弹性资源和Spot 资源,用于说明算力资源从哪里来、是否长期保障、何时释放或是否可能被抢占。
- 算力规格:例如 1 卡、2 卡、4 卡和 8 卡规格,用于说明单个容器或 Worker 实际使用的 GPU 型号、GPU 数量、CPU 核数和内存上限。
- 调度放置:平台把容器放置到有足够空闲 GPU 的资源节点上,并自动扣减或占用对应算力资源。
提示
共享开发机只能使用 8 卡算力规格;开发机、任务 Worker、推理实例或 Worker 等其他业务负载可按实际需求选择 1 卡、2 卡、4 卡或 8 卡等可用算力规格。
包年包月资源和算力规格
默认情况下,包年包月资源按 8 卡资源节点购买。购买后,租户在订阅周期内拥有这部分算力资源的使用权。
创建容器时,用户仍需要选择算力规格。如果租户购买了 2 个 8 卡资源节点,相当于获得 16 卡长期保障算力资源。后续可以启动 16 个 1 卡容器、8 个 2 卡容器、4 个 4 卡容器或 2 个 8 卡容器,也可以混合使用这些规格。实际可启动数量还取决于资源在节点上的空闲分布。
共享资源池和共享开发机
共享资源池不是独立的算力购买来源。租户先购买包年包月资源,再将空闲资源移入共享资源池。共享资源池专用于创建共享开发机,不能用于创建任务或推理服务。
- 来源:来自已购买的包年包月资源,并且只能移入同一可用区内的空闲资源。
- 用途:仅用于创建共享开发机,让更多开发环境复用同一组 GPU 资源。
- 资源关系:多个共享开发机复用同一个 8 卡共享节点。每台共享开发机可以访问该节点上的 8 张 GPU,但会与其他共享开发机竞争显存和计算资源。
- 使用后果:适合开发调试、环境保留和轻量验证,不适合需要稳定独占 GPU 的长时间训练。
普通包年包月开发机中的算力规格表示单台开发机独占的资源形状;共享开发机能够访问共享节点上的 8 张 GPU,但不表示每台开发机独占 8 张 GPU。
共享资源池的创建、移入和权限管理,详见 使用专属/共享资源池。创建共享开发机,详见 使用共享资源创建开发机。
弹性资源和算力规格
弹性资源按小时临时申请,当前用于创建开发机。用户创建弹性开发机时直接选择 1、2、4 或 8 卡等算力规格。
如果可以下单,表示当前有匹配的弹性资源库存。开发机运行期间占用对应资源;关机后资源释放。下一次启动时,平台会重新判断是否仍有匹配库存。
Spot 资源和算力规格
Spot 资源按量计费,使用平台闲置库存为 AIStudio 开发机、训练任务和推理服务提供临时算力。用户创建 Spot 工作负载时直接选择 1、2、4 或 8 卡等算力规格。
Spot 资源适合容错能力强、可接受中断的场景。库存不足或运行中资源被抢占时,工作负载可能被中断回收;开启自动排队后,平台会按单次最大排队时长和最大重新排队次数继续等待资源。任一规则达到上限后,工作负载进入异常状态,需要人工处理。
提示
Spot 资源类型需要申请开通。如需使用 Spot 资源,请咨询商务或售后。
为什么使用固定算力规格
GPU 工作负载通常不能只按任意 CPU 核数和内存大小来描述。GPU 是绑定在资源节点上的物理设备,多卡训练和推理还依赖单个节点内的 GPU 拓扑、训练网配置和调度放置条件。
因此,平台把 GPU 型号、GPU 数量、CPU 核数和内存上限组合成预定义算力规格。用户选择规格后,平台可以稳定判断该容器需要放到哪个资源节点、需要扣减多少算力资源,以及是否满足多卡或 RDMA 等调度条件。
警告
如果所选规格的训练网配置为 RoCE 或 IB 且 GPU 数量为 8 卡,平台可提供 RDMA 配置。GPU 数量小于 8 卡时无法开启 RDMA。
可启动数量和节点分布
可启动数量表示在当前资源占用和节点分布下,某一种算力规格还能启动多少个容器。平台按资源节点上的空闲分布计算这个数量,而不是只按剩余 GPU 总数计算。
如果可启动数量为 0,表示当前没有足够的可放置资源。对于包年包月资源,您可以查看资源池占用情况,判断 GPU 是否分散在多个节点上,或是否有高优先级负载正在排队。