存储概述
本文概述极值算力的存储服务能力。极值算力实例提供系统盘,可挂载共享高性能存储,也可在部分可用区挂载公共数据。支持的品牌还可在创建实例时添加云盘。
预置存储
智算云平台为每个容器提供预置存储,为容器运行提供基础存储空间。
系统盘
每个极值算力实例默认赠送 100GiB 系统盘(rootfs),挂载在 / 下。实例关机后,系统盘数据会在平台保留期内持久保存;实例释放后,系统盘数据会被清除且不可恢复。您可以使用 df -h / 命令查看 rootfs 的用量信息。
扩充存储
除了预置存储外,您还可以根据需要配置扩充存储,满足更大数据量或多实例协作场景的需求。详见扩充存储。
云盘
云盘为非共享的扩充存储,基于分布式块存储的持久化存储。
- 挂载时,控制台会根据产品范围、可用区和实例状态筛选可选目标。
- 同一块云盘同一时间只能挂载到一个实例。
- 可从云盘管理页创建、挂载、重新挂载、扩容或删除。对于已挂载到极值算力实例的云盘,请通过极值算力实例改配页面的高级配置移除云盘配置完成卸载。
- 容器内访问路径由挂载时指定,
/datadisk只是示例路径。
详见云盘。
共享高性能存储
共享高性能存储是租户级别的高性能文件存储,支持多个服务或实例同时挂载和访问,适合团队协作和大规模数据处理场景。
- 支持极值算力实例挂载使用,适合在多台实例间共享数据。
- 提供基于用户/用户组的权限控制。
- 数据永久保存,删除服务实例不影响存储数据。
- 需要联系商务购买,部分可用区支持线上自助购买。
智算云平台在多个地理位置部署了集群,每个可用区的高性能存储相互独立。在某个可用区购买的高性能存储,仅能被该可用区的服务实例使用。
公共数据
公共数据提供常用的开源模型和数据集(如 Llama3、Qwen 等模型权重),由平台维护。
- 适用范围:支持的极值算力规格可挂载。
- 权限:只读权限。
- 可用性:暂仅在部分可用区上线(广东B、宁夏B、北京D)。
共享内存
极值算力实例挂载了基于 Linux 虚拟内存的 /dev/shm,用于存放多次读写的临时数据。这些数据需要快速访问且在系统重启后不需要保留。
一般情况下,建议避免手动写入数据到 /dev/shm。推荐由专门的库、框架或应用程序自行管理,例如 Pytorch 的 Dataloader 在多进程加载数据时会使用 /dev/shm。
Filesystem Size Used Avail Use% Mounted on
overlay 50G 36M 50G 1% /
tmpfs 64M 0 64M 0% /dev
gpfs 60T 53T 7.5T 88% /mnt/public
tmpfs 56G 0 56G 0% /dev/shm
...提示
如果使用 Docker 功能,实例内启动的 Docker 容器也挂载了 /dev/shm,但默认大小为 64MB,支持通过 --shm-size 选项调整。详见Docker 功能。
常见问题
我的文件应该放在哪里?
在极值算力实例中,您可以将代码、模型和数据保存在根目录 / 下的大部分位置(例如 /root 或您新建的文件夹)。这些数据保存在系统盘中,实例关机后会在平台保留期内持久保存。
如果您的数据量非常大,建议使用扩充存储,避免占满系统盘。
如果我对实例执行关机操作,数据会被删掉吗?
不会。极值算力实例关机后,平台会在保留期内保存系统盘数据。超过保留期或实例被释放后,系统盘数据会被清除且不可恢复。系统盘提供持久化存储能力,平台会尽力保障系统盘数据在关机、重启、异常恢复以及选择保留系统盘数据的改配场景下继续可用;但受实例状态、资源回收、异常恢复、用户操作等因素影响,系统盘数据仍存在无法保留或恢复的可能。建议将重要数据同步至共享高性能存储、代码仓库,或将环境固化为自定义镜像。
云盘会随实例停止而停止计费吗?
不会。云盘是独立存储资源,订单、账单和发票独立于挂载它的计算实例。云盘创建后会保留并可能持续计费,直到云盘被删除。详见云盘。
/dev/shm 大小可以调整吗?
极值算力实例的 /dev/shm 由实例规格决定,暂不支持在实例配置中直接修改。
实例启用 Docker 功能后,在实例内启动的容器默认仅有 64M 大小的 /dev/shm,可在 docker run 命令中添加 --shm-size 调整共享内存大小。该修改仅适用于实例内部启动的容器。
/dev/shm 的数据会保存吗?
不会,/dev/shm 是基于内存的临时文件系统,系统重启后数据会丢失。