文档中心

Appearance

✨费用中心控制台

关键概念 ​

这里介绍您在本平台中可能遇到的重要概念。不同产品模块可能使用不同的界面字段名称，但同一概念在平台中的含义应以本页为准。

算力市场 ​

算力市场是智算云平台提供的计算资源租赁入口。用户可以根据项目需求选择 GPU 型号、数量和使用时长，并将购买或申请到的算力资源用于 AIStudio 开发机、任务和推理服务。

  • 按需购买：根据项目需求选择合适的 GPU 型号、数量和使用时长。
  • 灵活计费：支持按小时、按天、包月或包年等计费模式。
  • 即时可用：适合短期项目、实验验证和突发性计算需求。
  • 长期租赁：适合长期项目和稳定运行场景，可获得长期保障算力资源。

更多内容请见 AI 算力市场。

容器 ​

容器是隔离运行应用、代码和依赖的计算环境。平台通过容器承载多类计算对象和工作负载。

用户通常通过镜像创建容器，并按算力规格、资源规格或集群资源为容器分配 CPU、GPU、内存和存储等资源。

开发机 ​

开发机可以理解为一个挂载了 GPU 的 Linux 开发环境。创建开发机时，需要指定开发机的算力规格，选择镜像，并按需挂载共享高性能存储。

开发机可用于训练代码开发和调试、单机训练，也可用于测试模型推理和部署。

  • 参考 创建开发机。
  • 支持从本地 SSH 连接到开发机，也支持在平台预置的 Web Terminal 中使用开发机。
  • 资源池可配置闲时自动关机规则，帮助优化资源利用。详见 开发机闲时自动关机。

Docker 容器服务（开发机内） ​

Docker 容器服务（开发机内）指开发机内部的 Docker 服务能力。启用后，您可以在同一台开发机中运行容器、拉取镜像、构建镜像和管理依赖组件。

警告

不要与 AI 容器服务（KubeStudio）混淆。Docker 容器服务运行在开发机内部；AI 容器服务（KubeStudio）是独立的 AI 容器服务平台，会创建虚拟集群并占用资源池 GPU。

任务 ​

任务是 AIStudio 从网页发起训练作业的能力。用户可以通过界面分配计算资源、挂载共享存储、选择镜像并提交训练命令，无需直接操作底层调度系统。

除了单机任务外，AIStudio 还支持一键发起大规模分布式训练，并提供资源监控、自动容错、实时训练日志和可视化能力。

Worker ​

在训练任务中，Worker 通常指负责执行计算任务的最小计算单元，即一个容器实例。

创建任务时，需要指定 Worker 数量，以及单个 Worker 需要占用的算力规格，包括 GPU 型号、GPU 数量、CPU 核数和内存上限。

推理服务 ​

AIStudio 推理服务用于将训练好的模型部署成线上服务，接入实际业务场景。

服务运行过程中，用户可以查看服务健康情况，包括资源监控、业务指标监控和实例日志。用户也可以根据服务状态扩缩容，或通过升级功能变更服务代码、推理框架和模型。

实例 ​

在推理服务中，实例通常指承载推理任务的最小计算单元，即一个容器实例。

创建推理服务时，需要指定实例数量以及单个实例需要占用的算力规格。在分布式推理模式下，界面字段也可能显示为 Worker 规格。

工作负载 ​

工作负载是在计算资源上运行的业务对象或任务单元。根据产品场景不同，工作负载可以表现为开发机、任务、推理服务、Pod、应用部署或训练作业。

平台围绕工作负载提供调度、资源分配、监控、日志、扩缩容和权限控制等能力。

算力资源模型 ​

智算云平台中，用户先通过不同方式获得算力资源，再让容器按平台可调度的算力规格占用资源。

  • 资源来源用于确认算力资源从哪里来，例如包年包月资源、弹性资源或 Spot 资源。
  • 算力规格用于确认单个容器或 Worker 使用多少资源。每个规格是一组固定的 GPU 型号、GPU 数量、CPU 核数和内存上限。
  • 调度放置用于确认容器能放到哪个资源节点上。平台根据资源节点当前占用情况自动放置容器，用户不需要手动登录物理机器或指定 GPU 编号。

因此，用户购买或申请的是算力资源，容器实际占用的是可被平台放置的算力规格。

详细说明请见 算力资源模型详解。

包年包月资源 ​

包年包月资源是租户按月或按年购买的长期保障算力资源。默认情况下，购买入口以 8 卡资源节点为单位；1、2、4 卡是在创建容器时选择的算力规格。

购买后，在订阅周期内租户拥有这部分算力资源的使用权。创建开发机、训练任务或推理服务时，平台会把所选算力规格自动放置到租户已购的 8 卡资源节点中，并扣减对应算力资源。

弹性资源 ​

弹性资源是按小时申请的临时算力资源，当前用于创建开发机。用户创建弹性开发机时直接选择 1、2、4 或 8 卡等算力规格。

平台会在下单时按当前库存判断是否能启动开发机。下单成功表示当前有匹配库存；开发机运行期间占用对应弹性资源；关机后资源释放。下一次启动时，平台会重新判断是否仍有匹配库存。

Spot 资源 ​

Spot 资源是一种按量计费的算力资源类型，使用平台闲置库存为 AIStudio 工作负载提供 GPU 算力。库存充足时，工作负载可以获取资源并运行；库存不足或运行中资源被抢占时，工作负载可能被中断并回收。

Spot 资源可用于创建 AIStudio 开发机、推理服务和训练任务，适合容错能力强、可接受中断的业务场景。使用 Spot 资源前，应确认应用具备恢复能力，并将重要数据保存到可持久化的位置。

提示

Spot 资源类型需要申请开通。如需使用 Spot 资源，请咨询商务或售后。

算力规格 ​

算力规格是单个容器或 Worker 实际使用的资源形状，包括 GPU 型号、GPU 数量、CPU 核数和内存上限。平台一般提供 1、2、4、8 卡等预定义规格；CPU、内存和 GPU 的组合以这些规格为准。

这与只使用 CPU/内存的容器不同。CPU 和内存通常可以更细粒度地配置，而 GPU 是绑定在资源节点上的物理设备。平台需要把容器放置到拥有足够空闲 GPU 的资源节点上，因此 CPU、内存和 GPU 的组合以平台提供的算力规格为准。

使用场景字段名称含义
开发机规格单台开发机使用的 GPU、CPU 和内存组合。
任务Worker 规格单个 Worker 容器使用的 GPU、CPU 和内存组合。
推理服务实例规格 / Worker 规格单个推理实例或分布式推理 Worker 使用的 GPU、CPU 和内存组合。

信息

部分可用区还支持 0 卡开发机规格。0 卡规格不占用 GPU，仅使用 CPU 和内存，适合无 GPU 调试、数据准备等场景。平台会优先保障 GPU 负载的 CPU 和内存需求，因此 0 卡开发机的可用性可能受资源池当前负载影响。

警告

如果所选规格的训练网配置为 RoCE 或 IB 且 GPU 数量为 8 卡，平台可提供 RDMA 配置。GPU 数量小于 8 卡时无法开启 RDMA。

可启动数量 ​

可启动数量表示在当前资源占用和节点分布下，某一种算力规格还能启动多少个容器。平台按资源节点上的空闲分布计算这个数量，而不是只按剩余 GPU 总数计算。

例如，资源池中总空闲 GPU 数为 8，但这 8 张卡分别分散在两个资源节点上，每个节点只空闲 4 卡。此时可以启动 4 卡容器，但不能启动需要完整 8 卡节点的容器。

因此，同一个资源池中，不同规格会显示不同的可启动数量。多卡规格尤其依赖资源是否在同一个节点或满足对应的调度条件。

镜像 ​

镜像指容器镜像，是用于创建和运行算力容器的模板。镜像包含运行容器所需的环境和依赖，例如代码、运行时、库、环境变量和配置文件。

平台提供 PyTorch 官方镜像、NGC 官方镜像、CUDA 社区镜像、Ubuntu 基础镜像等，也支持用户构建自己的镜像。

  • 预置镜像：平台提供的官方或社区镜像，开箱即用。
  • 自定义镜像：用户自行导入或构建的镜像，可固化团队依赖与运行环境。
  • 镜像仓库：镜像存储与分发服务，用于保存、拉取、推送镜像。
  • 镜像中心：平台内的镜像管理入口，用于浏览、导入、构建和权限管理。

更多内容请见 镜像中心。

云盘 ​

云盘是独立的持久化块存储资源，可挂载到支持的计算实例，用于保存用户数据、环境文件或运行过程中产生的文件。

云盘为单实例专用存储。同一块云盘同一时间只能挂载到一个实例；如需在多个实例或多名用户之间共享数据，应使用共享高性能存储。

云盘通常与共享高性能存储、系统盘等存储概念一起出现。用户在创建或管理计算资源时，应根据数据持久化、共享访问、挂载范围和计费方式选择合适的存储资源。

共享高性能存储 ​

共享高性能存储是智算云平台提供的通用存储服务。机器学习流程中的模型、数据集和 Checkpoint 通常规模较大，适合保存在共享高性能存储中，在多次运行和团队协作中复用。

开发机、任务 Worker、推理实例均可挂载共享高性能存储。存储可持久化保存，不受任务或实例释放影响。

更多内容请见 共享高性能存储。

文件系统 ​

文件系统特指共享高性能存储中为租户分配的隔离存储空间。

  • 文件系统的大小决定了租户可用存储空间的上限。
  • 文件系统的可用区决定了存储可被挂载和使用的可用区，只有同一可用区实例可使用该文件系统提供的存储资源。
  • 文件系统不可直接被实例挂载使用。拥有文件系统后，租户可自主创建存储卷，再将存储卷挂载到实例中。

存储卷 ​

在共享高性能存储中，存储卷指可被可用区实例挂载的存储单元。开发机、任务、推理服务和 AICoder 均可挂载有权限访问的存储卷。

存储卷有以下关键属性：

  • 存储卷 ID：用于识别存储卷，例如 vo-c7hp65uszhr7hb7x。
  • 存储卷目录路径：在文件系统中划分存储卷使用的存储空间。例如路径为 /public，表示使用该存储卷时限制操作在该文件系统的 /public 目录下。
  • 存储卷挂载权限：用于控制不同用户或用户组对存储卷的可见性以及读写权限。如果用户个人权限与所在用户组权限不同，则取并集。

信息

存储卷的目录路径仅表示其在文件系统上的位置，与实例容器内的访问目录无关。挂载存储卷时，您可以将存储卷映射至容器内部的自定义路径。

容器内访问路径 ​

容器内访问路径指创建实例时，将外部的存储卷挂载到容器内部文件系统中的具体目录路径。

  • 作用：用户在容器内部通过该路径访问存储卷中的数据。
  • 自定义：用户可自定义该路径，但不能使用系统保留路径，例如 /、/boot、/dev。
  • 示例：将 ID 为 vo-db2mlm7jmq55l5kh、路径为 /public 的存储卷挂载到容器内的 /mnt/public，则在容器内访问 /mnt/public 目录即访问该存储卷。

警告

文档中频繁出现的 /mnt/public 仅作为示例路径。平台不会默认自动创建或挂载此路径。若希望在容器中使用该路径访问共享存储，必须在创建实例的存储配置中显式设置挂载点。

资源规格 ​

资源规格用于描述租户购买的计算资源配额，属于“买到多少算力资源”的概念。算力规格用于描述单个容器或 Worker 实际使用的资源形状，属于“每次运行占用多少算力资源”的概念。两者不要混淆。

例如，如果租户购买了 2 份以下包年包月计算资源规格：

  • 资源规格编码：g6l.111xlarge
  • 显卡型号：NVIDIA RTX4090-24G PCIe
  • 显卡数量：8
  • vCPU 核数：112
  • 内存：896GB

那么租户获得了最多同时使用 16 个 NVIDIA RTX4090 的长期保障算力资源。后续可以用不同算力规格占用这部分资源：例如 16 台 1 卡开发机、2 个 8 卡任务 Worker，或 16 个 1 卡推理服务实例。

信息

默认情况下，包年包月资源按 8 卡资源节点购买配额。创建容器时，再选择 1、2、4、8 卡等算力规格使用这部分算力资源。

您可以在资源池页面查看租户购买的算力资源配额和资源规格。

资源池 ​

资源池是计算配额的容器，可包含一个或多个资源节点。智算云平台采用可用区和资源池的概念组合，帮助租户管理云上的计算资源。

资源池在文档中常见的表达包括：

  • 共享资源池：租户自行创建的资源池，用于创建共享型开发机。共享资源池中的资源专用于共享开发机，不用于任务或推理服务。
  • 专属资源池：租户独占的命名资源池，常用于团队间算力资源隔离。
  • 包年包月资源池：长期配额型资源池，适合持续使用场景。
  • 弹性资源池：平台按当前库存提供的按量资源池，当前用于创建弹性开发机。弹性开发机关机后会释放所占算力资源，再次启动时需要重新判断库存。
  • 竞价资源池：平台自动创建的 Spot 资源池。租户无法直接操作池内资源；用户在支持的 AIStudio 创建页选择 Spot 资源创建工作负载。

更多内容请见 资源池管理。

信息

资源池中的 GPU 可能被 AI 容器服务平台占用。被容器服务占用后，这部分资源不能再用于 AIStudio 开发机、任务或推理服务。

AI 容器服务（KubeStudio） ​

AI 容器服务平台（KubeStudio）用于创建虚拟集群并运行容器化工作负载。它与 AIStudio 同属于智算云平台，但属于不同的产品形态。

容器服务占用指资源池中的 GPU 被 KubeStudio 虚拟集群占用后形成的占用量。该部分资源不能同时用于 AIStudio 的开发机、任务或推理服务。

更多内容请见 KubeStudio。

租户 ​

租户是智算云平台中的组织隔离单元，代表一个独立的账户空间。每个租户拥有独立的资源配额、用户管理、计费和权限体系。

租户内的用户可根据被授予的权限策略和授权范围执行对应操作，例如管理用户、资源配额、API 密钥或访问特定资源。

更多内容请见 租户管理。

超级管理员 ​

超级管理员是租户内权限最高的管理角色，通常拥有平台预置的全局管理权限。

超级管理员可用于完成租户级配置、权限管理、资源管理和高权限运维操作。为降低误操作风险，应仅将该角色授予确实需要全局管理权限的用户。

用户组 ​

用户组是一种批量管理用户权限的机制。通过将用户加入用户组，可以统一授予该组内所有用户相同的资源访问权限。

  • 一个用户可以属于多个用户组。
  • 用户的最终权限为其个人权限与所属用户组权限的并集。

可用区 ​

可用区是智算云平台计算资源部署的区域，当前一个可用区对应一个独立计算资源集群。同一可用区内的资源可以互相访问和挂载存储。

  • 创建开发机、任务、推理服务时需选择资源池，资源池绑定到特定可用区。
  • 存储卷只能挂载到同一可用区的实例。
  • 不同可用区之间的资源默认不互通。

更多内容请见 资源池管理。

环境变量 ​

环境变量用于在容器运行时传递配置信息，无需修改代码即可调整应用行为。

  • 任务：创建时可在网页界面的环境变量配置区域设置。
  • 开发机和推理服务：可通过启动命令设置，例如 export VAR=value。
  • 平台预置变量：平台会自动注入分布式通信、资源信息等变量。

启动命令 ​

启动命令定义了容器实例启动后执行的入口程序或脚本。

  • 开发机：支持自定义启动命令，用于自动化初始化或启动后台服务。启动命令有 3 分钟超时限制，适合轻量级任务，不适合安装依赖或下载大文件。
  • 任务：必须指定启动命令，命令结束后容器自动销毁。平台根据退出码判断任务状态。
  • 推理服务：必须指定启动命令，且命令必须是持续运行的前台进程。命令结束即容器销毁，建议使用 exec 启动服务以支持优雅停机。

信息

无论是否使用自定义启动命令，平台都会忽略镜像中定义的 Entrypoint 或 Command。

API 密钥 ​

API 密钥（API Key）是用于访问 API 服务的身份凭证。

  • 用于 GenStudio API 服务调用。
  • 用于 AIStudio 推理服务的外网 API 鉴权。
  • 可在访问控制中创建、查看和管理。

更多内容请见 API 密钥管理。

SSH 公钥 ​

SSH 公钥用于配置免密登录开发机，是进行 SSH 登录与 SSH 端口转发的基础凭证之一。

  • 公钥/私钥：公钥上传到平台或写入开发机，私钥保存在本地，用于发起连接。
  • 常见用途：本地终端 SSH 登录、VS Code Remote SSH、SSH 端口转发等。

更多内容请见 SSH 公钥管理。

权限策略 ​

权限策略定义用户可以执行的操作。策略需要与授权范围配合使用，授权范围限定策略作用的资源。

  • 系统策略：平台预置的权限策略，用于授予产品功能的常见访问权限。
  • 自定义策略：具备权限管理权限的用户根据业务需求自定义的细粒度权限策略。

更多内容请见 理解策略和授权范围。

授权范围 ​

授权范围用于限定权限策略作用的资源边界。权限策略定义用户可以执行哪些操作，授权范围定义这些操作可以作用于哪些资源。

配置用户或用户组权限时，管理员需要同时选择权限策略和授权范围，才能形成完整的访问控制规则。

更多内容请见 理解策略和授权范围。

按量付费 ​

按量付费是一种按实际使用量结算费用的计费方式。用户无需提前购买长期资源，平台会根据资源运行时长、调用量、存储用量或其他计量维度产生费用。

文档中的“按量计费”与“按量付费”通常指同一类计费方式。实际费用以费用中心、订单、账单或产品页面展示的计费规则为准。

大语言模型 ​

大语言模型是面向自然语言理解、生成、推理和对话等任务的基础模型。文档中的“大模型”在多数上下文中也指这一类模型或以大语言模型为核心的模型服务。

在 GenStudio 中，用户可以通过体验中心、API、模型广场或微调服务使用大语言模型，并根据模型能力、上下文长度、价格和调用限制选择合适的模型。

模型广场 ​

模型广场是 GenStudio 用于集中展示平台预置模型的产品页面。用户可以按模型类型、任务场景、上下文长度、兼容协议、模型提供方等条件筛选模型，并查看模型卡片和详情页。

模型广场中的模型卡片和详情页通常提供模型 ID、上下文长度、最大生成长度、输入输出模态、兼容协议、调用说明、价格或服务限制等信息。接入 GenStudio API 或编码套餐前，用户应以模型广场展示的当前能力和调用信息为准。

Token ​

Token 是大语言模型处理文本的基本计量单位。模型会把输入文本拆分为 Token，并按 Token 序列生成输出。

在 GenStudio 中，Token 常用于描述上下文长度、最大输出长度、API 频率限制、用量统计和计费。一次调用通常会分别统计输入 Token 和输出 Token。

上下文长度 ​

上下文长度是模型一次请求中可处理的输入与输出 Token 总量上限。它决定模型能够同时接收多少历史消息、提示词、工具结果或其他文本内容。

选择模型时，用户应结合任务所需的上下文长度和最大输出长度评估模型是否适合当前业务场景。

API 频率限制 ​

API 频率限制用于控制租户或 API Key 在固定时间窗口内可发起的请求量、Token 用量或其他调用量，避免单个调用方影响整体服务稳定性。

GenStudio LLM API 常见限制维度包括 RPM、RPD 和 TPM。触发频率限制后，请求可能返回限流错误，用户需要降低调用频率、缩短请求内容或升级服务等级。

包并发服务 ​

包并发服务是一种预先购买并发处理能力的容量保障方式。用户购买并发槽位后，可在约定范围内获得更稳定的请求处理能力。

在 GenStudio LLM API 和 ComfyUI 工作流等场景中，包并发服务可用于降低高峰期与其他用户争用公共资源的风险，并提升实时业务的响应稳定性。

系统盘 ​

系统盘是容器实例的根文件系统存储（rootfs）。不同类型的实例系统盘持久化行为不同。

  • 开发机：系统盘持久化存储。关机或重启后数据保留，仅在删除开发机或连续关机超过平台保留期限后清除。
  • 任务：系统盘非持久化。任务结束后数据丢失，请将训练结果保存到共享高性能存储。
  • 推理服务：系统盘非持久化。服务停止或删除后数据丢失。

更多内容请见 系统盘。

端口转发 ​

端口转发允许用户从本地访问开发机内部运行的服务。例如，在开发机上运行 Jupyter Notebook 或 TensorBoard 时，可通过端口转发在本地浏览器中访问。

  • 支持通过 SSH 隧道进行端口转发。
  • 部分场景可使用平台提供的 Web 服务直接访问。

更多内容请见 SSH 远程登录。

日志 ​

AIStudio 提供多种日志查看方式，帮助用户调试和监控工作负载。

  • 任务日志：查看训练任务所有 Worker 的标准输出和错误输出。
  • 容错日志：任务启动检测、异常定位、训练变慢检测等系统级诊断输出。
  • 推理服务日志：查看推理服务运行日志，排查请求异常。

资源监控 ​

资源监控用于实时查看容器实例的资源使用情况。

  • GPU 监控：显存占用、GPU 利用率。
  • CPU/内存监控：CPU 使用率、内存占用。
  • 网络监控：入站和出站流量。

可在任务详情页和推理服务详情页查看资源监控面板。