文档中心

Appearance

✨费用中心控制台

使用 Spot 资源部署推理服务 ​

使用 Spot 资源部署推理服务时，平台使用闲置库存提供按量计费 GPU 算力。库存充足时，推理服务可以获取实例并对外提供服务；库存不足或运行中资源被抢占时，实例可能被中断回收，并可通过自动排队重新等待资源。

Spot 资源仅支持推理类型为推理服务的部署。如果需要部署分布式推理服务或无卡推理服务，请分别查看部署分布式推理服务和部署无卡推理服务。

提示

Spot 资源类型需要申请开通。如需使用 Spot 资源，请咨询商务或售后。

警告

Spot 资源可能因库存不足被中断回收。请不要将 Spot 资源用于不能接受中断的生产关键流程；使用前请确认代码、模型文件、日志、输出结果和其他重要数据已经保存到可持久化的位置。

开始前确认适用场景 ​

Spot 资源推理服务适合服务验证、临时压测、弹性实验，以及调用方可以接受短暂不可用的业务场景。部署前建议确认：

  • 推理类型：创建页的推理类型必须选择推理服务。分布式推理服务和无卡推理服务当前不支持 Spot 资源。
  • 调用方容错：服务可能因库存不足或资源被抢占而没有可用实例，调用方应具备超时、重试、降级或流量切换策略。
  • 模型与代码存储：模型文件、服务代码和运行依赖应放在共享高性能存储、公共数据或镜像中，避免依赖推理服务容器系统盘持久保存。
  • 库存与费用：确认目标 GPU 型号、GPU 数量、可用区、库存和单价符合预期。页面显示的价格以控制台和费用中心为准。
  • 自动排队策略：提前决定是否开启自动排队、单次可等待多久、最多允许重新排队几次。

部署流程 ​

本节说明如何选择推理服务类型，使用 Spot 资源获取可用 GPU 规格，配置自动排队规则，并部署可接受中断的推理服务。

创建推理服务

以下步骤为完整部署流程。

Step 0 选择推理服务类型 ​

在推理类型区域，选择推理服务。

警告

Spot 资源仅支持推理类型为推理服务的部署。选择分布式推理服务或无卡推理服务时，不应按 Spot 资源流程配置。

Step 1 选择 Spot 资源和规格 ​

在规格信息区域，资源类型选择 Spot 资源，刷新库存后选择符合需求的规格。规格表中的每一行代表一组 GPU 型号、GPU 数量、vCPU、内存、训练网配置、可用区、当前库存和单价。

如果页面中没有 Spot 资源选项，通常表示当前租户或账号尚未开通 Spot 资源类型。

选择规格时，重点确认以下信息：

  • 库存：库存会随平台闲置资源变化；如果目标规格无可用库存，可刷新库存、改选可用区或改选其他 GPU 规格。
  • 可用区：后续要挂载公共数据或共享高性能存储时，需确认存储和数据在同一可用区可用。
  • 单价和余额：Spot 资源按量计费。创建前确认账户余额、预算和预期运行时长。
  • 训练网配置：如果推理框架依赖特定网络能力，确认训练网配置符合需求。

Step 2 配置自动排队 ​

创建 Spot 工作负载时，需要配置是否开启自动排队。自动排队默认关闭；开启后，可用资源不足时工作负载会自动进入队列等待资源，运行中工作负载被抢占后也可按规则重新排队。

  • 单次最大排队时长：每次进入队列后可等待的最长时间，取值范围为 1-12 小时，需填写整数。重新排队后从 0 重新计时。
  • 最大重新排队次数：因资源不足或工作负载被抢占导致重新排队时，最多允许再次进入队列的次数，取值范围为 0-3 次，需填写整数。设置为 0 表示不允许再次重新排队。

提示

排队时长不按重新排队次数叠加计算；每次排队单独计时。任一规则达到上限后，系统停止自动排队，工作负载进入异常状态，需要人工处理。部分详情页可能将“最大重新排队次数”显示为“最大重试次数”，两者对应同一项配置。

对推理服务来说，自动排队只负责重新等待并获取算力资源。重新获取资源前，服务可能没有可用实例或可用实例数不足；对外调用方应具备超时、重试、降级或流量切换策略。

Step 3 配置服务与镜像 ​

按实际推理框架配置镜像和启动命令：

Step 4 配置存储和访问 ​

  • 系统盘：推理服务容器实例的根目录 /，固定 50GiB，非持久化存储，不建议放置模型文件。
  • 公共数据：如果所选 Spot 规格所在可用区支持公共数据，可只读挂载平台维护的公共模型和数据集。
  • 共享高性能存储：正式部署时，建议将模型文件、代码和运行数据放到共享高性能存储，并在推理服务中挂载对应存储卷。

根据访问方式配置外网访问、Auth 配置、内网监听端口、调用端口和监控端口。完整字段说明可参考使用包年包月资源部署推理服务。

Step 5 填写基本信息并创建 ​

填写推理服务名称、描述和标签后，确认创建。创建后在推理服务列表中查看状态；如果自动排队达到上限，服务会进入异常状态，需要人工处理。

部署后查看和修改 ​

推理服务创建后，可在详情页查看资源类型、自动排队、最大排队时长、最大重试次数、规格信息、挂载信息和实例信息。

使用 Spot 资源创建的推理服务，可通过升级推理服务修改镜像、实例规格和自动排队设置。修改自动排队设置后，新规则会影响后续资源不足或运行中资源被抢占时的重新排队行为。

Spot 推理服务可能因资源回收进入排队，并在自动排队重新获取资源后再次运行。建议按需配置飞书机器人告警通知，常用触发条件包括推理服务进入排队中、推理服务进入运行中和推理服务不健康。通知用于发现服务可用性变化；对外调用方仍需具备超时、重试、降级或流量切换策略。

常见问题 ​

Spot 资源推理服务进入异常后怎么办？ ​

先查看详情页中的自动排队配置、日志和事件记录，确认是否达到单次最大排队时长或最大重新排队次数。然后根据业务要求等待库存恢复、改用其他规格或可用区、重新创建服务，或改用包年包月资源承载不能接受中断的线上流量。

Spot 资源能用于分布式推理服务吗？ ​

不能。Spot 资源当前仅支持推理类型为推理服务的部署，不支持分布式推理服务。

Spot 资源能用于无卡推理服务吗？ ​

不能。无卡推理服务不使用 GPU 资源，Spot 资源不适用。