Skip to content

部署无卡推理服务

无卡推理服务适合不需要 GPU 的轻量 API、CPU 推理、网关、前后处理服务或辅助服务。与普通推理服务不同,无卡推理服务不选择 GPU 规格,也不使用 Spot 资源。

信息

Spot 资源仅支持推理类型为推理服务的部署。无卡推理服务不使用 GPU 资源,不支持 Spot 资源。

开始前确认适用场景

部署无卡推理服务前,建议确认:

  • 服务不需要 GPU,或者 GPU 推理能力由外部服务提供。
  • 镜像和启动命令可以在 CPU 环境中运行。
  • 模型文件、配置文件和运行数据已经放到共享高性能存储、公共数据或镜像中。
  • 调用方可以通过内网或外网访问服务。

如果服务需要 GPU,请改用使用包年包月资源部署推理服务使用 Spot 资源部署推理服务。如果单实例无法承载模型,请改用部署分布式推理服务

部署流程

  1. 进入推理服务创建页。
  2. 推理类型选择无卡推理服务
  3. 按页面提示配置 CPU、内存或其他无卡实例规格。
  4. 配置镜像、启动命令、存储、外网访问、内网配置和基本信息。
  5. 确认创建,并返回列表查看服务状态。

Step 0 选择无卡推理服务

在推理类型区域,选择无卡推理服务。选择后,页面不会按 GPU 库存展示 Spot 资源规格。

Step 1 配置服务与镜像

  • 镜像:选择可以在 CPU 环境中运行的镜像。镜像内应包含服务代码和运行依赖。
  • 启动命令:填写容器实例启动时执行的命令,确保服务监听端口与内网配置一致。详见优化推理服务启动命令

Step 2 配置存储和访问

  • 系统盘:推理服务容器实例的根目录 /,固定 50GiB,非持久化存储,不建议放置需要长期保留的数据。
  • 公共数据:如果所选可用区支持公共数据,可只读挂载平台维护的公共模型和数据集。
  • 共享高性能存储:如需持久化模型文件、代码或运行数据,请挂载共享高性能存储。

根据访问方式配置外网访问、Auth 配置、内网监听端口、调用端口和监控端口。完整字段说明可参考使用包年包月资源部署推理服务

Step 3 填写基本信息并创建

填写推理服务名称、描述和标签后,确认创建。创建后在推理服务列表中查看状态,并进入详情页查看日志、调用地址和实例信息。