Skip to content

下载模型

AICoder 可访问公网,您可以在 AICoder 中将模型、代码、数据集等直接下载到同可用区的高性能共享存储。供开发机、任务、推理服务使用。

下载前检查

启动 AICoder 时,选择与目标存储卷相同的可用区,并通过界面将存储卷挂载到 AICoder。以下以 /mnt/models 为例;请替换为实际挂载路径。

language-shell
findmnt -T /mnt/models
df -h /mnt/models
test -w /mnt/models && echo shared-storage-ready
free -h

只有显示 shared-storage-ready,并且 findmnt 显示 /mnt/models 位于共享存储文件系统而不是 / 或 OverlayFS 时,才能继续下载。不要使用 mkdir -p /mnt/models 创建一个未挂载的同名目录。df 在部分可用区不能反映存储卷配额,因此还需在控制台确认剩余配额。

ModelScope

ModelScope(魔搭社区)是一个开源模型共享平台。

  1. 启动 AICoder Shell,挂载同可用区的存储卷。在本示例中,挂载的存储卷在容器内的访问位置(挂载点)为 /mnt/models

  2. 安装 ModelScope CLI。使用 --no-cache-dir 可以避免 pip 下载缓存额外占用 AICoder 系统盘。

    language-shell
    python3 -m pip install --no-cache-dir \
      -i https://pypi.tuna.tsinghua.edu.cn/simple \
      modelscope
  3. tmux 中运行下载,并将并发下载 worker 限制为 2:

    language-shell
    tmux new -s model-download
    modelscope download Qwen/Qwen2.5-0.5B-Instruct \
      --local-dir /mnt/models/modelscope/Qwen2.5-0.5B-Instruct \
      --max-workers 2

    注意

    • AICoder 本身仅有 10 GiB 系统盘和 4 GiB 内存。请确保模型目录位于共享存储。详见 AICoder 存储空间
    • 单个模型文件可以大于 4 GiB;下载工具会分块传输,不会把整个文件加载到内存。不要同时启动多个下载进程。只有监控确认资源有余量时,才逐步提高 --max-workers
    • 需要离开时,按 Ctrl+B,再按 D 分离 tmux 会话。重新进入时运行 tmux attach-session -t model-download
  4. 下载完成后,确认模型文件已存在(通常包含 .safetensors.bin 文件)。

    language-shell
    ls -alht /mnt/models/modelscope/Qwen2.5-0.5B-Instruct