扩充存储
扩充存储用于在系统盘之外保存或共享数据。共享高性能存储适合多实例、多服务或团队共享数据。云盘适合单个支持实例专用的持久化数据。如果只需要读取平台维护的公共模型和数据集,请使用公共数据。
云盘
云盘适合保存当前实例专用的持久化数据,例如个人开发环境、单实例模型文件、Checkpoint、缓存目录或运行输出。云盘可独立创建、挂载、卸载、重新挂载、扩容和删除。
使用云盘时,请重点确认:
- 云盘和目标实例通常需要在同一可用区。
- 同一块云盘同一时间只能挂载到一个实例。如需换到另一台实例,请先卸载再重新挂载。
- 单个实例目前最多可挂载 5 块云盘,具体以控制台限制为准。
- 容器内访问路径由挂载时指定,
/datadisk只是示例路径;创建时页面可能使用/datadisk_1、/datadisk_2等默认示例路径。 - 云盘、共享高性能存储和其他存储的容器内访问路径不能重复。
- AICoder、AIStudio 任务和推理服务当前不能直接挂载云盘。如需这些服务共享数据,请使用共享高性能存储。
- 删除 AIStudio 开发机时,已挂载的云盘默认保留;如果删除确认窗口中勾选了同时删除已挂载云盘,平台会随开发机一起删除该云盘。
将云盘挂载到运行中的开发机时,开发机必须重启后挂载才会生效。选择运行中的开发机后,必须勾选确认重启运行中的开发机,才能继续提交挂载操作;如果未勾选,控制台会再次提示需要确认重启。挂载到非运行状态的开发机时,挂载关系会在开发机下一次启动时生效。
警告
运行中的开发机挂载、卸载或直接删除已挂载云盘时,可能需要重启开发机。操作前请停止正在读写云盘的程序,并保存 Notebook、终端任务和未写入磁盘的数据。
云盘的创建、列表状态、挂载、扩容、卸载、重新挂载和删除流程,请参见:
共享高性能存储
共享高性能存储是一种可被多个开发机、任务、推理服务同时挂载和访问的高性能文件存储,适合团队协作和大规模数据处理场景。支持基于用户/用户组的操作权限控制和挂载权限管理。
使用共享高性能存储时,请重点确认:
- 共享高性能存储仅能被同一可用区的实例或服务挂载。
- 创建实例或服务时,需要选择文件系统、存储卷、挂载路径和挂载权限。
- 用户能否看到并挂载存储卷,取决于 IAM 操作权限和存储卷挂载权限。
- 多个已授权实例可以挂载同一个存储卷,用于共享模型、数据集、代码或训练输出。
共享高性能存储的购买、文件系统、存储卷、权限和使用流程,请参见:
选择数据存放位置
少量代码、配置和临时实验文件可以放在系统盘。系统盘适合当前实例内使用,但容量有限,不建议长期保存大型模型、数据集或持续增长的输出目录。
如果数据只由当前实例使用,并且需要比系统盘更大的专用持久化空间,可以放在云盘,例如个人开发环境、单实例模型缓存、Checkpoint、缓存目录或运行输出。云盘仅在支持的可用区和规格范围内提供,创建或挂载时请以控制台可选项为准。
团队共享模型、数据集、训练输出、推理模型文件,或需要在多实例、多服务、多名用户之间复用的数据,应放在共享高性能存储。
信息
公共数据不是用户可写入的扩充存储,而是平台维护的只读数据来源,且仅在部分可用区提供。需要读取平台已提供的公共模型或数据集时,请参见公共数据和公共数据使用说明;创建实例、任务或推理服务时,请以控制台可选项为准。如果需要保存处理结果、训练输出或团队共享文件,请使用共享高性能存储。如果数据只由一个支持实例使用,也可以使用云盘。
传输数据
传输数据至云盘
如需从本地设备传输数据到云盘,请先登录已挂载该云盘的实例,再把文件写入云盘的容器内访问路径。该路径由挂载时指定,例如 /datadisk_1。
传输数据至共享高性能存储
共享高性能存储可被同一可用区的容器实例挂载。您可以先把数据传输到已挂载共享高性能存储的实例,再写入对应挂载目录。
如果租户已配置共享高性能存储,推荐使用同一可用区的 AICoder 传输数据,避免长时间占用 GPU 开发机资源。也可以登录已挂载共享存储的开发机,将文件写入对应挂载路径。
信息
AICoder 是免费提供的小规格 CPU 实例。我们建议您使用同一可用区的 AICoder 传输数据,避免占用 GPU 资源。
数据传输工具
目前支持的本地数据传输方案都基于 SSH,默认支持命令行界面下 2 种常用的文件传输方案,即 scp 和 sftp。
提示
开发机支持 SSH 用户名/密码认证,也支持基于 SSH 密钥的认证。请提前确认可成功 SSH 远程登录开发机。如需帮助,请参考 SSH 远程登录。
常见问题
我只是想给当前实例增加一块专用数据盘,应该选什么?
使用云盘。云盘适合单个实例专用的数据、模型缓存、Checkpoint 和运行输出。
我希望多个服务或团队成员共享同一份数据,应该选什么?
使用共享高性能存储。共享高性能存储适合团队、多实例或多个平台服务复用同一份数据。
AIStudio 任务、推理服务或 AICoder 可以直接挂载云盘吗?
当前不能直接挂载云盘。如需让任务、推理服务或 AICoder 复用数据,请使用共享高性能存储。
哪里可以看到完整对比表?
详见存储管理概述。
云盘可以在多个实例间同时共享吗?
不可以。同一块云盘同一时间只能挂载到一个支持的计算实例,适合保存单实例专用的数据。
如果只是想把云盘换到另一台实例使用,请先停止当前实例内正在读写云盘的程序,卸载云盘,再挂载到目标实例。挂载路径、目标实例状态和可用区要求请以挂载页面提示为准。
如果希望多台开发机、任务、推理服务或团队成员同时访问同一份模型、数据集、代码或输出,请使用共享高性能存储。公共只读模型和数据集可使用公共数据。
云盘路径必须是 /datadisk 吗?
不是。新版云盘的容器内访问路径由挂载时指定,/datadisk 只是示例路径。创建时页面可能使用 /datadisk_1、/datadisk_2 等默认示例路径,请以挂载时填写的路径为准。
删除实例会删除扩充存储吗?
共享高性能存储独立于实例。
云盘默认也独立保留;删除 AIStudio 开发机时,只有在删除确认窗口中勾选同时删除已挂载云盘,平台才会随开发机删除该云盘。
哪种存储适合存放团队共享的数据?
使用共享高性能存储。
存储服务的文件数量有限制吗?
文件数量对应文件系统的 inode 数量,每个文件或目录都会占用一个 inode。软链接同样会占用一个 inode。
- 对于 AIStudio 的开发机、任务、推理服务的本地存储,建议使用
df -i /监控 inode 使用情况。 - 对于云盘,请在已挂载实例内对云盘挂载路径执行
df -i。 - 对于共享高性能存储,可使用
df -i命令查看共享高性能存储卷。
警告
如果您的使用场景对 inode 数量有较高要求,建议优先配置存储卷配额(如支持)。如不支持或遇到 inode 耗尽问题,请联系商务或售后服务。
为什么看不到可挂载的存储?
请优先检查实例可用区、存储可用区、产品支持范围、账号权限和存储卷挂载权限。共享高性能存储还需要管理员完成文件系统、存储卷和权限配置。