Skip to content

存储概述

本文概述 AIStudio 的存储服务能力。AIStudio 提供预置存储、扩充存储、公共数据和共享内存等存储能力。

预置存储

智算云平台为每个容器提供预置存储,为容器运行提供基础存储空间。

系统盘

AIStudio 的开发机、任务、推理服务均提供系统盘。您可以使用 df -h / 命令查看 rootfs 的用量信息。

服务容量持久化说明
开发机100GiBroot 文件系统(/tmp 路径例外,关机时清除)
任务50 GiB任务 Worker 的 root 文件系统
推理50 GiB推理服务实例的 root 文件系统

扩充存储

除了预置存储外,您还可以根据需要配置扩充存储,满足更大数据量或多实例协作场景的需求。详见扩充存储

云盘

云盘为非共享的扩充存储,基于分布式块存储的持久化存储。

  • 挂载时,控制台会根据产品范围、可用区和实例状态筛选可选目标。
  • 同一块云盘同一时间只能挂载到一个实例。
  • 可从云盘管理页创建、挂载、重新挂载、扩容或删除。
  • 容器内访问路径由挂载时指定,/datadisk 只是示例路径。

AIStudio 任务、推理服务和 AICoder 当前不能直接挂载云盘。

详见云盘

共享高性能存储

共享高性能存储是租户级别的高性能文件存储,支持多个服务或实例同时挂载和访问,适合团队协作和大规模数据处理场景。

  • 支持开发机、任务、推理服务、AICoder 同时挂载使用。
  • 提供基于用户/用户组的权限控制。
  • 数据永久保存,删除服务实例不影响存储数据。
  • 需要联系商务购买,部分可用区支持线上自助购买。

智算云平台在多个地理位置部署了集群,每个可用区的高性能存储相互独立。在某个可用区购买的高性能存储,仅能被该可用区的服务实例使用

公共数据

公共数据提供常用的开源模型和数据集(如 Llama3、Qwen 等模型权重),由平台维护。

  • 适用范围:开发机、任务、推理服务均可挂载。
  • 权限:只读权限。
  • 可用性:暂仅在部分可用区上线(广东B、宁夏B、北京D)。

共享内存

AIStudio 的开发机、任务(Worker)均挂载了基于 Linux 虚拟内存的 /dev/shm,用于存放多次读写的临时数据。这些数据需要快速访问且在系统重启后不需要保留。在创建开发机或任务时,可以看到共享内存(shm)配置项。默认为资源规格内存容量的一半,暂不支持修改。

一般情况下,建议避免手动写入数据到 /dev/shm。推荐由专门的库、框架或应用程序自行管理,例如 Pytorch 的 Dataloader 在多进程加载数据时会使用 /dev/shm

language-shell
Filesystem                         Size  Used Avail Use% Mounted on
overlay                             50G   36M   50G   1% /
tmpfs                               64M     0   64M   0% /dev
gpfs                                60T   53T  7.5T  88% /mnt/public
tmpfs                               56G     0   56G   0% /dev/shm
...

提示

如果使用 Docker 功能,实例内启动的 Docker 容器也挂载了 /dev/shm,但默认大小为 64MB,支持通过 --shm-size 选项调整。详见Docker 功能

常见问题

我的文件应该放在哪里?

在平台的开发机中,您可以将代码、模型和数据保存在根目录 / 下的大部分位置(例如 /root 或您新建的文件夹)。由于平台提供了 OverlayFS 持久化能力,这些数据在开发机重启后依然存在。

如果您的数据量非常大,建议使用扩充存储,避免占满系统盘。

如果我对实例执行关机操作,数据会被删掉吗?

不会。无论是包年包月开发机、弹性开发机,还是其他类型的开发机,平台均对开发机系统盘(OverlayFS)提供持久化保护。对连续 30 天处于关机状态的开发机,平台将删除系统盘数据,删除前将短信提醒绑定手机号。

云盘会随实例停止而停止计费吗?

不会。云盘是独立存储资源,订单、账单和发票独立于挂载它的计算实例。云盘创建后会保留并可能持续计费,直到云盘被删除。详见云盘

/dev/shm 大小可以调整吗?

开发机、任务 Worker、推理实例的 /dev/shm 默认为当前使用的算力规格内存的一半,暂不支持修改。

实例启用 Docker 功能后,在实例内启动的容器默认仅有 64M 大小的 /dev/shm,可在 docker run 命令中添加 --shm-size 调整共享内存大小。该修改仅适用于实例内部启动的容器。

/dev/shm 的数据会保存吗?

不会,/dev/shm 是基于内存的临时文件系统,系统重启后数据会丢失。