选择推理类型与资源类型

本页用于选择推理服务部署方式。确认推理类型和资源来源后，请进入对应文档完成部署；如果已经知道要使用哪类推理服务，可直接打开对应部署步骤。

部署前先确认推理类型，再确认资源类型。推理类型决定服务实例的运行形态；资源类型决定算力资源从哪里来、是否可中断，以及是否需要配置自动排队。

选择推理类型

• 推理服务：适合大多数在线推理场景。每个实例对应一个独立容器，可使用包年包月资源或 Spot 资源部署。进入对应文档后，重点确认资源池或库存、实例规格、实例数量、镜像、启动命令和访问配置。
• 分布式推理服务：适合单个容器无法承载的超大模型。一个实例由多个 Worker 容器组成。详见部署分布式推理服务。进入该文档后，重点确认实例数量、单实例 Worker 数、每个 Worker 的算力规格和分布式启动命令。
• 无卡推理服务：适合不需要 GPU 的轻量 API、CPU 推理、网关或前后处理服务。详见部署无卡推理服务。进入该文档后，重点确认 CPU 环境可运行镜像、启动命令和服务端口。

警告

Spot 资源仅支持推理类型为推理服务的部署。分布式推理服务和无卡推理服务当前不支持 Spot 资源。

选择资源类型

如果推理类型选择推理服务，继续按服务稳定性要求选择资源类型：

• 包年包月资源：适合需要稳定运行、持续对外提供服务的推理场景。详见使用包年包月资源部署推理服务。进入该文档后，重点确认当前账号能看到目标资源池，且目标规格的可启动数量满足实例数量和升级策略。
• Spot 资源：适合可接受中断的服务验证、临时压测或弹性实验场景。详见使用 Spot 资源部署推理服务。进入该文档后，重点确认租户已开通 Spot 资源、目标库存可用、自动排队规则和调用方容错策略。

如果推理类型选择分布式推理服务或无卡推理服务，请直接进入对应文档，不要按 Spot 资源流程配置。

信息

控制台中的实例规格或算力规格通常指单个推理服务实例或单个 Worker 容器实际使用的 GPU、vCPU 和内存，不是资源池拥有的 GPU 总量。如需理解资源池、规格、可启动数量和节点放置的关系，请阅读算力资源模型。

常见选择

• 第一次体验推理服务：使用快速部署推理服务。
• 正式部署在线推理 API：优先使用使用包年包月资源部署推理服务。
• 临时验证模型服务或压测可中断服务：使用使用 Spot 资源部署推理服务。
• 单实例放不下模型：使用部署分布式推理服务。
• 服务不需要 GPU：使用部署无卡推理服务。