部署无卡推理服务
无卡推理服务适合不需要 GPU 的轻量 API、CPU 推理、网关、前后处理服务或辅助服务。与普通推理服务不同,无卡推理服务不选择 GPU 规格,也不使用 Spot 资源。
信息
Spot 资源仅支持推理类型为推理服务的部署。无卡推理服务不使用 GPU 资源,不支持 Spot 资源。
开始前确认适用场景
部署无卡推理服务前,建议确认:
- 服务不需要 GPU,或者 GPU 推理能力由外部服务提供。
- 镜像和启动命令可以在 CPU 环境中运行。
- 模型文件、配置文件和运行数据已经放到共享高性能存储、公共数据或镜像中。
- 调用方可以通过内网或外网访问服务。
如果服务需要 GPU,请改用使用包年包月资源部署推理服务或使用 Spot 资源部署推理服务。如果单实例无法承载模型,请改用部署分布式推理服务。
部署流程
- 进入推理服务创建页。
- 推理类型选择无卡推理服务。
- 按页面提示配置 CPU、内存或其他无卡实例规格。
- 配置镜像、启动命令、存储、外网访问、内网配置和基本信息。
- 确认创建,并返回列表查看服务状态。
Step 0 选择无卡推理服务
在推理类型区域,选择无卡推理服务。选择后,页面不会按 GPU 库存展示 Spot 资源规格。
Step 1 配置服务与镜像
- 镜像:选择可以在 CPU 环境中运行的镜像。镜像内应包含服务代码和运行依赖。
- 启动命令:填写容器实例启动时执行的命令,确保服务监听端口与内网配置一致。详见优化推理服务启动命令。
Step 2 配置存储和访问
- 系统盘:推理服务容器实例的根目录
/,固定 50GiB,非持久化存储,不建议放置需要长期保留的数据。 - 公共数据:如果所选可用区支持公共数据,可只读挂载平台维护的公共模型和数据集。
- 共享高性能存储:如需持久化模型文件、代码或运行数据,请挂载共享高性能存储。
根据访问方式配置外网访问、Auth 配置、内网监听端口、调用端口和监控端口。完整字段说明可参考使用包年包月资源部署推理服务。
Step 3 填写基本信息并创建
填写推理服务名称、描述和标签后,确认创建。创建后在推理服务列表中查看状态,并进入详情页查看日志、调用地址和实例信息。