极值算力实例常见问题排查指南

以下是使用智算云平台极值算力实例时可能遇到的常见问题及解决方案。

创建与配置问题

极值算力实例创建失败

可能原因：

库存资源不足。
网络连接异常。
系统内部错误。

解决方案：

库存资源不足问题，可稍后重试。
更换可用区，重新创建极值算力实例。
如持续失败，请联系技术支持。

如何变更极值算力实例配置？

解决方案：

在极值算力「容器实例」页面找到目标实例，在「操作」栏点击「改配」，调整 CPU、GPU、内存、容器镜像等配置。详见变更极值算力实例配置。
改配后极值算力实例会经历：
1. 清理中状态（系统盘数据可选择保留或清理）
2. 重新部署流程

云盘为扩充存储，其数据不受改配影响。云盘的容器内访问路径由挂载时指定，/datadisk 只是示例路径。

登录与连接问题

无法通过 SSH 连接极值算力实例

可能原因：

极值算力实例未处于「运行中」状态。
SSH 端口或 IP 地址错误。
SSH 密钥或密码配置错误。
本地网络限制（公司、学校的防火墙限制，或本地安全软件）。
极值算力实例使用的镜像缺少必要基础组件，常见报错："您的镜像中缺少 openssh-server，您正在连接到一个功能受限的 SSH 服务器，无法用作端口转发/scp 文件传输等用途，仅可用于 SSH 命令行和 sftp 文件传输"。

解决方案：

确认极值算力实例状态为「运行中」。
在极值算力「容器实例」页面，找到目标实例，在「SSH 登录」列复制正确的「SSH 连接命令」（含端口）。
检查认证方式：
- 密码认证：确认密码正确
- 密钥认证：确认 SSH 公钥已添加。建议使用平台的密钥管理功能，统一为极值算力实例注入 SSH 公钥。
检查网络连通性：nc -vz <实例_IP> <SSH_端口>
使用详细日志排查：ssh -vv -p <SSH_端口> root@<实例_IP>
如果错误消息提示缺少 openssh-server 或其他组件，请安装平台要求的镜像基础组件：
- 在极值算力实例中直接安装基础组件，重启极值算力实例（仅针对当前极值算力实例作一次性修复）
- 在镜像中安装，重启极值算力实例，选择更新后的新版镜像（永久修复自定义镜像，推荐）详见镜像基础组件要求，或更换为其他符合要求的镜像。

忘记 SSH 登录密码

解决方案：

创建者可在极值算力「容器实例」页面目标实例的「SSH 登录」列修改 SSH 登录密码。
密码修改后立即生效，无需重启。

SSH 密码认证失败次数过多被锁定

问题：错误密码输入 3 次后，10 分钟内无法使用密码登录。

解决方案：

等待 10 分钟后重试。
或通过 Web Terminal 登录，添加 SSH 公钥使用密钥认证。
使用平台的密钥管理功能，统一为极值算力实例注入 SSH 公钥（重启后生效）。

SSH 连接不稳定或终端任务中断

问题：进行模型训练等长时间任务时，SSH 连接可能会因网络波动或本地电脑休眠而断开，导致正在运行的终端任务（如训练脚本）意外终止。

解决方案：

使用终端复用工具（如 tmux）来保持会话持久化。即使 SSH 连接断开，tmux 会话中的进程仍在后台继续运行，重新连接后可恢复之前的终端状态。

对于 VS Code 用户：推荐配置终端自动进入 tmux 会话，详见 VS Code 远程开发 - 配置终端自动进入 tmux 会话。
手动使用：也可以直接在终端使用 tmux 命令手动管理会话。

存储与文件传输问题

系统盘空间不足

问题：极值算力实例系统盘占用率过高将发出警告。系统盘占用超过 100GiB 时，极值算力实例将进入安全模式，此时仅能保证 Web Terminal 可连接。

解决方案：

清理无用文件：sudo apt-get clean 和 rm -rf ~/.cache/*

（如有云盘）迁移大文件至云盘挂载路径，例如：mv <大文件> /datadisk/。请将 /datadisk/ 替换为实际云盘挂载路径。

清理后请重启极值算力实例。

信息

可在云盘列表页按控制台提示扩容云盘。如需购买共享存储，可自助购买，或联系商务和售后服务。

运行与性能问题

极值算力实例性能不足

解决方案：

在极值算力「容器实例」页面目标实例的「操作」栏点击「改配」，升级到 GPU、CPU、内存更高的算力规格。详见变更极值算力实例配置。
优化流程：
- 监控 GPU：nvidia-smi
- 分析占用：htop

taskset 报错或绑核不生效

现象：

使用 taskset -c 指定的 CPU 与容器可用集合（/etc/environment 中的 MIZAR_CPUSET）无交集时，命令会失败（常见报错：Invalid argument）。
-c 中仅部分 CPU 在可用集合内时，进程可启动，但只会在与极值算力实例容器 cpuset 的交集上运行，超出集合的 CPU 会被忽略，表现为部分绑定生效。

解决方案：

读取实例可用集合。

language-shell

cat /etc/environment | grep MIZAR_CPUSET

仅在该集合内选择 CPU 后再运行 taskset，例如：
language-shell
```
taskset -c 0-7,64-69 <command>
```

校验绑定结果。

language-shell

pidof <command名> | xargs -I {} taskset -p {}
pidof <command名> | xargs -I {} grep Cpus_allowed_list /proc/{}/status

提示

如需核对可用 CPU 集合，请以实例内 /etc/environment 中的 MIZAR_CPUSET 为准；如控制台提供监控信息，也可结合控制台展示判断 CPU 使用情况。

/proc/cpuinfo 的 processor 与 cpuset 不一致

原因：容器中 processor 编号由 lxcfs 顺序映射生成，用于兼容性，不是宿主机真实 CPU id，且不代表容器真实可用的 cpuset。

正确做法：

绑核与亲和性请以 MIZAR_CPUSET（及 MIZAR_CPUSET_NUMA_*）为准。
/proc/cpuinfo 的 processor 值不要用于绑核。

提示

如需理解 CPU 使用率与核集合的关系，参见「资源与事件监控」。

极值算力实例突然无法访问

可能原因：

账户余额不足导致停机
库存资源不足导致中断关机
账户余额不足导致停机
网络连接问题

解决方案：

检查余额并充值
在控制台查看极值算力实例状态
如已停机，重新启动

极值算力实例异常重启后数据不见了怎么办？

可能原因：

宿主机故障触发自动迁移。
实例恢复后，数据备份卷未能自动挂载。

解决方案：

极值算力实例的异常重启通常由宿主机故障触发，系统会自动将实例迁移至健康的宿主机恢复运行。若您在实例恢复后发现数据缺失，多数情况下是由于备份或持久化存储未能自动挂载至新实例所致，数据本身未必丢失。系统盘提供持久化存储能力，平台会尽力保障系统盘数据在异常恢复后继续可用；但受实例状态、资源回收、异常恢复、用户操作等因素影响，系统盘数据仍存在无法保留或恢复的可能。建议优先检查共享高性能存储、自定义镜像或代码仓库中的副本，并提交工单申请售后支持。

您可通过提交工单申请售后支持，并提供以下信息以便快速定位与恢复：

实例信息
租户 ID
可用区

环境与软件问题

无法通过 Pip 下载 Pytorch

在国内访问官方的 PyTorch 下载链接可能会遇到速度慢或无法访问的问题。为了解决这一问题，可以使用国内的镜像源来安装 PyTorch。

阿里云提供了 PyTorch 的镜像源，可以通过以下命令进行安装。

language-shell

pip3 install torch==2.4.1 torchvision torchaudio -f https://mirrors.aliyun.com/pytorch-wheels/cu121/

提示

注意使用 -f 选项，而不是使用 --index-url。

没有 CUDA 环境，没有 nvcc

可能原因：

如使用 NGC 镜像，可能是环境变量问题。极值算力实例在 Web Terminal 与本地 SSH 连接中环境 PATH 环境变量可能有差异，导致无法找到 CUDA。
镜像中已安装 Pytorch，但不含系统级 CUDA。

解决方案：

通过在 Web Terminal 与 SSH 会话中执行 env | grep PATH，观察环境变量差异并修改。
请注意区分 Pytorch 自带的 CUDA 与系统级 CUDA。
部分框架/应用要求系统级 CUDA（例如 DeepSpeed）。请遵照 Nvidia 官方指引安装 CUDA 环境，或参考平台提供的 Dockerfile 示例：
- CUDA 12.9.1 + cuDNN 9.x 镜像 Dockerfile
- CUDA 12.2.2 + cuDNN 8.x 镜像 Dockerfile

可参考以下教程：

Vulkan 找不到 GPU（仅识别到 llvmpipe / CPU）

当您运行依赖 Vulkan 的应用（例如 OmniGibson、NVIDIA Isaac Sim / Isaac Lab 相关组件）时，如果应用提示找不到 GPU，通常表现为 Vulkan 只能识别到 CPU 软件渲染（llvmpipe）。

诊断流程

1. 现象确认

应用报错：no Vulkan device、VK_ERROR_INCOMPATIBLE_DRIVER、failed to find suitable GPU。
vulkaninfo --summary 的 Devices 段落显示：
- deviceType = PHYSICAL_DEVICE_TYPE_CPU
- deviceName = llvmpipe (LLVM ...)

2. 检查 GPU 与驱动

首先确认 GPU 设备已挂载且驱动正常：

language-shell

nvidia-smi -L
ls -la /dev/nvidia* 2>/dev/null || true

如果 nvidia-smi 不可用，请先联系技术支持解决 GPU 挂载问题。

3. 检查 NVIDIA ICD 文件配置

Vulkan Loader 依赖 ICD (Installable Client Driver) 文件来加载 NVIDIA 驱动。

language-shell

ls -la /etc/vulkan/icd.d/ 2>/dev/null || true
ls -la /usr/share/vulkan/icd.d/ 2>/dev/null || true

原因与修复方案

在平台容器中，Vulkan 无法识别 GPU 的最常见原因是：ICD 配置文件指向了缺少依赖的驱动库。

常见场景：Headless 容器 vs 桌面依赖

平台提供的容器镜像通常是无头（Headless）环境，不包含 X11 图形界面库。

问题库：libGLX_nvidia.so.0
- 这是常见的默认配置。
- 它依赖 X11 库（如 libX11）。在纯命令行容器中，这些依赖往往缺失，导致 Vulkan Loader 加载失败，从而回退到 llvmpipe。
推荐库：libEGL_nvidia.so.0
- 它通常不依赖 X11，更适合在无头容器中运行 Vulkan 计算任务。

请根据您的需求选择一种修复方案：

方案 A：切换到 EGL 模式（推荐，适用于 Headless 容器）

如果您不需要运行图形界面（XFCE4/桌面），建议强制 Vulkan 使用 libEGL。

您可以通过设置环境变量 VK_ICD_FILENAMES 来临时覆盖 ICD 配置，而无需修改系统文件：

创建 EGL 专用的 ICD 文件：

language-shell

cat > /tmp/nvidia_icd_egl.json <<'EOF'
{
  "file_format_version": "1.0.0",
  "ICD": {
    "library_path": "libEGL_nvidia.so.0",
    "api_version": "1.3.0"
  }
}
EOF

验证修复：
language-shell
```
VK_ICD_FILENAMES=/tmp/nvidia_icd_egl.json vulkaninfo --summary
```
如果现在能看到 NVIDIA GPU（deviceType = PHYSICAL_DEVICE_TYPE_DISCRETE_GPU），说明修复成功。您可以在运行应用时加上这个环境变量。

方案 B：补齐 X11 依赖（适用于需要桌面的场景）

如果您确实需要运行图形界面或必须使用 GLX 库，则需要安装缺失的 X11 依赖。

我们提供了一份完整的桌面环境安装与排障指南，请参考：

4. 避免重复 ICD

请检查 /etc/vulkan/icd.d/ 下是否同时存在多个 NVIDIA ICD 文件（例如 nvidia_icd.json 和用户自己创建的 my_icd.json）。重复文件会导致 Vulkan 枚举出重复的 GPU 设备，甚至引发应用崩溃。请保持目录下只有一个有效的 NVIDIA ICD 文件。

无法使用 Conda 命令

可能原因：

Conda 未初始化
环境变量未配置

解决方案：

极值算力实例在 Web Terminal 与本地 SSH 连接中环境 PATH 环境变量可能有差异，导致无法找到 conda。

请按照 Conda 文档指引使用。

无法激活 Conda 环境

问题：conda activate base 提示需先运行 conda init

解决方案：

需要根据当前镜像环境，选择合适的方式初始化 Conda。详见 Conda 环境初始化指南。

如何保存极值算力实例环境和数据？

平台为所有极值算力实例默认赠送 100 GiB 系统盘持久化存储空间。如果持久化存储空间不足，可购买高性能共享存储或云盘作为扩充存储。

使用建议：

平台支持多种持久化存储，合理规划数据存储位置能够提升开发效率：

代码仓库：使用 Git 管理代码是最佳实践。将代码托管至 GitHub、GitLab 等平台，通过版本控制保证代码安全与协作效率。
数据文件（数据集、模型、Checkpoint）：
- 优先存储至共享高性能存储（如 /mnt/public）。如果数据只由单个实例使用，也可存储至云盘挂载路径（如 /datadisk）。如需多实例共享数据，请使用共享高性能存储。
- 系统盘（rootfs，挂载在 /）虽支持持久化，但容量限制为 100 GiB，建议仅存放环境配置和小型文件。
软件环境与依赖：使用容器镜像保存软件环境是更可靠的方案。可前往镜像中心，将当前运行中的极值算力实例保存为自定义镜像（保存镜像时请避免在极值算力实例中频繁读写）。相比在单个极值算力实例系统盘上手动安装依赖，使用容器镜像能够：
- 确保环境一致性和可复现性
- 快速部署到新极值算力实例或任务实例
- 避免因改配时选择「保留系统盘数据」为「否」而导致环境丢失

警告

极值算力实例在改配时可选择将系统盘（rootfs）恢复为干净状态。若您依赖系统盘存储关键数据或环境配置，请务必在改配前备份，或使用上述推荐的持久化方案。系统盘提供持久化存储能力，平台会尽力保障系统盘数据在关机、重启、异常恢复以及选择保留系统盘数据的改配场景下继续可用；但受实例状态、资源回收、异常恢复、用户操作等因素影响，系统盘数据仍存在无法保留或恢复的可能。

如何科学上网？

解决方案：

智算云平台不提供科学上网方式。您可以自行寻找第三方代理服务或其他解决方案。以下仅介绍部分可选方案：

Huggingface

在中国大陆地区可以使用 Huggingface 镜像站 https://hf-mirror.com。在极值算力实例中下载模型时，可以使用以下工具：

huggingface-cli

language-shell

pip install -U huggingface_hub
# 设置环境变量
export HF_ENDPOINT=https://hf-mirror.com
# 建议通过环境变量 HF_HUB_CACHE 将 Hugging Face 缓存路径改为非实例系统盘，比如共享存储
export HF_HUB_CACHE=/mnt/public/models # 请确认实例是否已挂载共享存储
# 下载模型
huggingface-cli download --resume-download gpt2 --local-dir gpt2
# 下载数据集
huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitext

如已挂载云盘，也可按需将缓存路径设置为云盘，例如：export HF_HUB_CACHE=/datadisk/models。

hfd.sh 脚本

language-shell

# 下载脚本
wget https://hf-mirror.com/hfd/hfd.sh
chmod a+x hfd.sh
# 设置环境变量
export HF_ENDPOINT=https://hf-mirror.com
# 下载模型
./hfd.sh gpt2
# 下载数据集
./hfd.sh wikitext --dataset

更多详细用法请访问如何快速下载 huggingface 模型——全方法总结。

GitHub

在中国大陆地区可以使用第三方 GitHub 加速服务。

获取 https 仓库地址后，添加加速服务前缀，发起 git clone：

language-shell

git clone https://ghfast.top/https://github.com/redis/redis

信息

以上加速服务的域名有可能因被封失效，您可以访问 https://ghproxy.link/ 获取最新可用域名。

可参考以下教程：

应用问题

无法安装 Ollama

可能原因：

由于 Ollama 官方安装脚本下载会从 ollama.com 重定向到 GitHub，在国内网络环境下可能无法访问。

解决方案：

ModelScope 提供了 Ollama 的国内镜像，下载后无需网络即可完成安装，是最稳定可靠的安装方式。

安装依赖工具：

language-shell

sudo apt update && sudo apt install -y pciutils lshw zstd

安装 ModelScope CLI 并下载 Ollama 安装包：

language-shell

pip install modelscope -U
modelscope download --model=modelscope/ollama-linux --local_dir ./ollama-linux --revision v0.14.1

运行安装脚本：

language-shell

cd ollama-linux
chmod +x ollama-modelscope-install.sh
./ollama-modelscope-install.sh

安装完成后，即可使用 ollama 命令。

提示

智算云平台极值算力实例不支持通过 systemd 添加为启动服务。
ModelScope 提供多个 Ollama 版本（如 v0.14.1、v0.13.0 等），可通过 --revision 参数切换。版本可能略滞后于官方最新版，但通常保持较新。更多信息请访问 ModelScope Ollama 仓库。

Web 应用预览无法访问

可能原因：

应用未监听配置端口
未绑定 0.0.0.0

解决方案：

确认端口一致（2000-65000）
确保绑定 0.0.0.0 而非 127.0.0.1
检查运行状态：netstat -tulpn | grep <端口号>
本地验证：curl localhost:<应用端口>

详见预览极值算力实例上运行的 Web 应用。

Docker 相关问题

无法使用 Docker 命令

可能原因：

未启用 Docker 功能
未启用 Docker Engine 服务

解决方案：

在极值算力「容器实例」页面找到目标实例，在「配置信息」列将光标悬浮在「详情」上，在悬浮窗口的高级配置中查看是否已启用 docker容器。如果未开启，则需要在该实例「操作」栏点击「改配」开启 Docker 容器，并确认改配（极值算力实例会重启）。
通过执行 dockerctl status 查看 Docker Engine 是否运行。如果未运行，则执行 dockerctl restart。

无法通过 docker system prune 删除极值算力实例内 Docker 容器与镜像

可能原因：

Docker 容器功能不支持通过 docker system prune 清除内部的 Docker 容器与镜像。

解决方案：

如果要在开机状态下清除容器和镜像，必须使用专用的 dockerctl 命令行工具。请依次执行以下命令：

language-shell

dockerctl stop
dockerctl prune
dockerctl start

其他问题

如何在 VS Code 中远程连接极值算力实例？

通过 VS Code 的 Remote - SSH 扩展连接极值算力实例，可获得完整的智能感知、代码导航、断点调试等功能，实现几乎本地般的开发体验。

解决方案：

安装 Remote - SSH 扩展
配置 SSH（端口和认证方式）
连接后直接编辑极值算力实例文件
详细配置步骤和高级功能（如代理设置、手动安装 VS Code Server 等）请参考 VS Code 远程开发。

可参考以下教程：

如何在极值算力实例中安装和使用 Jupyter Lab ？

如果需要远程连接到极值算力实例中的 Jupyter Lab，可以使用以下方案。

解决方案：

安装 Jupyter Lab：
- 使用 pip：python3 -m pip install jupyterlab
- 使用 conda：先初始化环境，创建虚拟环境，然后安装

启动 Jupyter Lab：

language-bash

jupyter lab --no-browser --ip 0.0.0.0 --port=9999 --allow-root

访问方式：
- Web 应用预览：配置极值算力实例预览端口，启动时绑定 0.0.0.0
- SSH 端口转发：在本地配置端口转发访问远程 Jupyter Lab
- VS Code 集成：通过 Remote Kernel 在本地使用远程 GPU

详细教程：

极值算力实例常见问题排查指南 ​

创建与配置问题 ​

极值算力实例创建失败 ​

如何变更极值算力实例配置？ ​

登录与连接问题 ​

无法通过 SSH 连接极值算力实例 ​

忘记 SSH 登录密码 ​

SSH 密码认证失败次数过多被锁定 ​

SSH 连接不稳定或终端任务中断 ​

存储与文件传输问题 ​

系统盘空间不足 ​

运行与性能问题 ​

极值算力实例性能不足 ​

taskset 报错或绑核不生效 ​

/proc/cpuinfo 的 processor 与 cpuset 不一致 ​

极值算力实例突然无法访问 ​

极值算力实例异常重启后数据不见了怎么办？ ​

环境与软件问题 ​

无法通过 Pip 下载 Pytorch ​

没有 CUDA 环境，没有 nvcc ​

Vulkan 找不到 GPU（仅识别到 llvmpipe / CPU） ​

诊断流程 ​

原因与修复方案 ​

无法使用 Conda 命令 ​

无法激活 Conda 环境 ​

如何保存极值算力实例环境和数据？ ​

如何科学上网？ ​

Huggingface ​

GitHub ​

应用问题 ​

无法安装 Ollama ​

Web 应用预览无法访问 ​

Docker 相关问题 ​

无法使用 Docker 命令 ​

无法通过 docker system prune 删除极值算力实例内 Docker 容器与镜像 ​

其他问题 ​

如何在 VS Code 中远程连接极值算力实例？ ​

如何在极值算力实例中安装和使用 Jupyter Lab ？ ​

极值算力实例常见问题排查指南

创建与配置问题

极值算力实例创建失败

如何变更极值算力实例配置？

登录与连接问题

无法通过 SSH 连接极值算力实例

忘记 SSH 登录密码

SSH 密码认证失败次数过多被锁定

SSH 连接不稳定或终端任务中断

存储与文件传输问题

系统盘空间不足

运行与性能问题

极值算力实例性能不足

taskset 报错或绑核不生效

/proc/cpuinfo 的 processor 与 cpuset 不一致

极值算力实例突然无法访问

极值算力实例异常重启后数据不见了怎么办？

环境与软件问题

无法通过 Pip 下载 Pytorch

没有 CUDA 环境，没有 nvcc

Vulkan 找不到 GPU（仅识别到 llvmpipe / CPU）

诊断流程

原因与修复方案

无法使用 Conda 命令

无法激活 Conda 环境

如何保存极值算力实例环境和数据？

如何科学上网？

Huggingface

GitHub

应用问题

无法安装 Ollama

Web 应用预览无法访问

Docker 相关问题

无法使用 Docker 命令

无法通过 docker system prune 删除极值算力实例内 Docker 容器与镜像

其他问题

如何在 VS Code 中远程连接极值算力实例？

如何在极值算力实例中安装和使用 Jupyter Lab ？