查看任务状态、日志与事件

任务提交后，先用状态判断卡在哪个阶段，再用日志、事件、监控和告警定位原因。不要只看任务最终状态；很多“成功但没产出”的问题，本质上是启动命令或输出路径没有正确暴露失败。

查看任务当前阶段

任务常见状态包括 排队中、部署中、运行中、运行成功、运行失败、恢复中、清理中、已停止和 已删除。

• 排队中：资源池中暂时没有满足 Worker 规格和 Worker 数量的资源。先查看资源规格与排队情况。
• 部署中：平台正在分配节点、准备存储和网络、初始化环境并拉取镜像。
• 运行中：启动命令已经开始执行。
• 恢复中：容错功能正在重启 Worker 或重新调度任务。
• 运行成功 / 运行失败：平台根据创建页中的启动命令是否成功结束判断任务状态。

如果任务长时间停留在部署中，在任务列表或详情页查看部署子状态，判断是资源、存储、网络、初始化还是镜像拉取卡住。

部署子状态通常按以下顺序推进：

如果某个子状态长时间不变，优先根据该阶段排查。例如资源分配卡住时查看资源规格与排队情况，镜像拉取卡住时检查镜像是否可访问，存储挂载卡住时检查文件系统和挂载配置。

任务列表中的任务耗时按任务生命周期统计。2025 年 8 月 18 日前的任务，耗时包含排队、部署和运行时间；2025 年 8 月 18 日之后的任务，耗时不包含排队和部署时间。

查看任务日志

任务日志用于确认启动命令是否执行、训练脚本是否进入目标阶段，以及失败发生在哪一行附近。

排查时优先看：

• 第一条异常堆栈之前的业务阶段标记。
• 启动命令是否加载了预期环境变量。
• 数据路径、输出路径、checkpoint 路径是否正确。
• 多 Worker 任务中是否只有某个 Worker 先失败。
• 训练脚本报错后，启动命令是否仍继续执行 echo、sleep、上传结果或其他收尾逻辑。

如果日志里已经出现 Python 异常、OOM、依赖缺失或训练脚本报错，但任务仍显示成功，请检查创建页中的启动命令是否在训练报错后继续执行并正常结束。需要写日志、上传结果或失败后保留现场时，按编写可靠启动命令调整启动脚本。

查看事件和操作审计

任务详情页中的 查看事件 更适合排查任务为什么进入某个状态，例如排队、部署失败、Hang 检测或恢复。事件记录 更适合追溯谁在什么时候执行了克隆、停止、重跑、删除等操作。

如需查看操作审计字段，详见任务事件记录。

结合监控、TensorBoard 和告警判断训练是否健康

根据问题选择入口：

• 资源监控：查看 GPU、CPU、内存、显存、网络和磁盘趋势，判断是否空转、卡住或资源不足。
• TensorBoard：查看 loss、step、eval 指标和训练日志是否持续更新。
• 任务告警：查看节点、GPU、网络或环境类告警。
• 容错日志：查看环境检测、自动重启、Hang 检测和重新调度记录。

如果日志已经显示训练代码异常，优先修复代码或启动命令；如果日志正常但资源监控、告警或容错日志显示环境异常，再进入平台侧排障。