文档中心

Appearance

✨费用中心控制台

选择模型、GPU 与推理引擎 ​

本文帮助您在 AIStudio 推理服务中选择模型、GPU 规格、推理引擎和自定义镜像。完成选择后，可继续参考对应的典型模型部署教程。

信息

本文中的 GPU 建议用于确定起步配置。实际可选规格取决于当前租户、资源池、可用区和库存。创建推理服务时，请以控制台展示的可启动规格为准。

先确认模型文件位置 ​

推理服务启动时需要能直接读取模型文件。正式部署前，建议先确认模型文件位于以下位置之一：

  • 共享高性能存储：适合正式服务、团队共享模型和跨服务复用模型文件。创建推理服务时，将存储卷挂载到容器内路径，例如 /mnt/models。
  • 公共数据：适合读取平台维护的公共模型。公共数据是只读挂载，仅在部分可用区提供。创建推理服务时需要勾选挂载公共数据，容器内路径通常为 /infini-data/。
  • 镜像内置模型文件：仅适合小模型或完全固定的演示环境。模型体积较大时，不建议把模型文件打入镜像。

警告

不建议在推理服务启动命令中临时下载模型或安装大型依赖。推理服务容器系统盘为非持久化存储，且启动命令执行时间、网络访问和磁盘空间都可能影响服务稳定性。

推荐起步组合 ​

场景推荐 GPU 起步配置推理引擎推荐镜像建议验证方式
Qwen3-8B 通用问答、摘要、轻量代码生成RTX 4090 可用于功能验证；A100、H100、H800、H200 更适合较长上下文或更高并发vLLMvLLM 自定义镜像发送短文本摘要请求，再发送一条代码生成请求
Qwen2.5-Coder-14B 代码生成与代码解释A100、H100、H800、H200；不建议将 RTX 4090 作为 BF16 权重的默认配置vLLMvLLM 自定义镜像生成 FastAPI 示例，再让模型解释一段有问题的 Python 代码
Qwen3-8B + DFlash 非思考模式加速H100、H800、H200SGLang 0.5.14 或更新版本DFlash 专用 SGLang 镜像对比普通 Qwen3-8B 与 DFlash 配置下的非思考模式响应
GLM-4.7-FP8 工具调用与推理服务H200 优先；H100、H800 多卡可作为起步配置vLLM nightly 或 SGLang devGLM-4.7-FP8 专用 vLLM nightly 镜像先验证普通聊天，再验证工具调用请求

当前提供以下典型模型部署教程：

如何选择 GPU ​

选择 GPU 时，先判断模型权重、KV Cache 和并发请求是否能同时放入显存。

  • 模型权重越大，需要的基础显存越高。例如 14B BF16 模型通常不适合直接以单张 24 GiB 显卡作为默认部署规格。
  • 上下文越长，KV Cache 占用越高。同一个模型在 8192、16384、32768 上下文长度下需要的显存差异明显。
  • 并发越高，显存和调度压力越大。功能验证可以先使用较低并发，正式服务再根据监控和压测结果调大。
  • H100、H800、H200 更适合需要高吞吐、长上下文或新 attention kernel 的推理场景。RTX 4090 更适合作为小模型功能验证或低并发实验起点。

如果服务启动后出现显存不足、实例反复重启或请求长时间无响应，可优先尝试：

  1. 降低 --max-model-len 或同类上下文长度参数。
  2. 降低并发相关参数，例如 vLLM 的 --max-num-seqs。
  3. 切换到更大显存或更多 GPU 的算力规格。
  4. 检查模型是否有量化版本或更适合当前 GPU 的推理配置。

如何选择镜像 ​

本文推荐使用自定义镜像来固定推理环境版本。

  • vLLM 稳定镜像：适合 Qwen3-8B、Qwen2.5-Coder 等常规 vLLM 服务。参考使用 uv 的 vLLM Dockerfile。
  • SGLang 稳定镜像：适合需要 SGLang 特定能力的常规服务。参考使用 uv 的 SGLang Dockerfile。
  • 版本敏感镜像：DFlash、GLM-4.7-FP8 等场景可能要求特定包版本、nightly wheel、dev 镜像或源码分支，不应直接套用稳定镜像示例。请优先使用对应教程中的 Dockerfile。

信息

镜像中心的 Dockerfile 构建适合只依赖基础镜像和网络下载内容的构建流程。如果需要 COPY 本地代码、脚本或模型文件，请改用在开发机中使用 Dockerfile 构建镜像。

建议的冒烟测试顺序 ​

创建推理服务后，建议按以下顺序验证：

  1. 查看服务状态：确认推理服务进入运行中状态。
  2. 查看实例日志：确认模型路径、框架版本、GPU 初始化和监听端口没有报错。
  3. 调用 /v1/models：确认 OpenAI 兼容 API 已启动。
  4. 发送短请求：使用较短 max_tokens 验证功能。
  5. 发送目标场景请求：例如摘要、代码生成、代码解释。
  6. 查看服务监控：如果使用 SGLang 或 vLLM metrics，请确认创建服务时已配置监控端口。

如服务异常，请先查看优化推理服务启动命令和故障处理。