检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 检查环境。 SSH登录机器后,检查NPU设备状态。
xxx to use this pandas version” 重装的包与镜像装CUDA版本不匹配 创建训练作业提示错误码ModelArts.2763 训练作业日志中提示 “AttributeError: module '***' has no attribute '***'” 系统容器异常退出
开启作业卡死重启后,只要系统检测到训练卡死,就在容器中重启训练作业,卡死重启不涉及资源调度,因此不会占用“重启次数”。
带EVS存储的Notebook实例 JupyterLab文件默认存储路径,为创建Notebook实例时,系统自动分配的EVS空间。 在文件列表的所有文件读写操作都是基于所选择的EVS下的内容操作的。使用EVS类型的挂载,可将大数据挂载至“~/work”目录下。
系统预置了卡死检测的环境变量“MA_HANG_DETECT_TIME=30”,表示检测到指标异常并持续30分钟则判定作业卡死。如果需要修改卡死检测时间,则可以修改环境变量“MA_HANG_DETECT_TIME”的值,具体操作指导请参见管理训练容器环境变量。
系统预置了卡死检测的环境变量“MA_HANG_DETECT_TIME=30”,表示检测到指标异常并持续30分钟则判定作业卡死。如果需要修改卡死检测时间,则可以修改环境变量“MA_HANG_DETECT_TIME”的值,具体操作指导请参见管理训练容器环境变量。
模型单次预测的时间不能超过40S,超过后系统会默认返回Timeout错误。 父主题: 服务预测
性能分析工具 msprof命令行工具提供了采集通用命令以及AI任务运行性能数据、昇腾AI处理器系统数据、Host侧系统数据和采集和解析能力。面向推理的场景,可以对于模型的执行性能数据进行收集,可基于收集的性能数据进行性能分析。 父主题: 推理迁移指导(MindSporeLite)
from modelarts import workflow as wf # 定义统一存储对象管理输出目录 output_storage = wf.data.OutputStorage(name="output_storage", description="输出目录统一配置")
当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后,检查NPU设备状态。
图1 上传文件图标 图2 进入远端文件上传界面 输入有效的远端文件URL后,系统会自动识别上传文件名称,单击“上传”,开始上传文件。 图3 输入有效的远端文件URL 图4 远端文件上传成功 异常处理 远端文件上传失败。可能是网络原因。
因此,PD分离系统良好运行的关键在于满足时延SLO约束下,那么面对不同的请求分布,尽可能提高这三种速率。PD配比寻优保持一个原则:使Prefill速率、Decode速率、传输速率三者互不为短板。
当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后,检查NPU设备状态。
cd Swin-Transformer sed -i 's/\r//' run.sh Shell脚本在Windows系统编写时,每行结尾是\r\n,而在Linux系统中行每行结尾是\n,所以在Linux系统中运行脚本时,会认为\r是一个字符,导致运行报错“$'\r': command
通过获取JobStep输出的相关metric指标信息实现 from modelarts import workflow as wf # 构建一个OutputStorage对象,对训练输出目录做统一管理 storage = wf.data.Storage(name="storage_name
原因:系统会将输入管道、输出管道、以及超参添加到启动命令的末尾,如果最后一条命令不是运行训练脚本则会报错。
宿主机和容器使用不同的文件系统,work_dir为宿主机中工作目录,目录下存放着训练所需代码、数据等文件。container_dir为要挂载到的容器中的目录。为方便两个地址可以相同。 shm-size:共享内存大小。
当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。
图6 Clone仓库失败 如果克隆时遇到Notebook当前目录下已有该仓库,系统给出提示仓库名称重复,此时可以单击“覆盖”继续克隆仓库,也可以单击取消。 父主题: 上传文件至JupyterLab
使用AI Gallery微调大师训练模型 AI Gallery支持将模型进行微调,训练后得到更优模型。 场景描述 模型微调是深度学习中的一种重要技术,它是指在预训练好的模型基础上,通过调整部分参数,使其在特定任务上达到更好的性能。 在实际应用中,预训练模型是在大规模通用数据集上训练得到的