检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
必须与ModelArts管理控制台在同一区域。 “Project”:Region选择后,Project自动填充为Region对应的项目。 “Access Key ID”:填写访问密钥的AK。 “Secret Access Key”:填写访问密钥的SK。
图6 成功上传镜像 Step8 注册镜像 镜像上传至SWR成功后,在ModelArts控制台的“镜像管理”页面中单击“注册镜像”。
linux-aarch64.run --install # 设置环境变量 source /usr/local/Ascend/nnal/atb/set_env.sh ModelArts Standard环境 本地上传“cann-nnal_8.0.RC3.20”软件包,可参考上传代码包【OBS桶或SFS Turbo
linux-aarch64.run --install # 设置环境变量 source /usr/local/Ascend/nnal/atb/set_env.sh ModelArts Standard环境 本地上传“cann-nnal_8.0.RC3.20”软件包,可参考上传代码包【OBS桶或SFS Turbo
NPU Snt9b23超节点服务器支持的镜像详情 镜像名称:HCE2.0-Arm-64bit-for-Snt9b23-with-24.1.rc3.7-7.5.0.107.221-CANN8.0.RC3.20 表1 镜像详情 软件类型 版本详情 操作系统 HCE2.0 内核版本 5.10.0
选择“数据集”,请从下拉框中选择ModelArts中管理的数据集及其版本。要求数据集类型与您在本任务中选择的场景类别一致。 选择“OBS目录”,存放结构又分两种情况,“仅包含图片”或“包含图片和标注信息”。
登录ModelArts管理控制台。 在左侧导航栏中,选择“模型训练 > 训练作业”。 在训练作业列表中,单击目标作业,进入训练作业详情页。 选择“日志”页签。 如图1所示,可以查看训练作业已启用动态路由,还可以根据Rank-ID搜索日志。
图5 成功上传镜像 Step8 注册镜像 镜像上传至SWR成功后,在ModelArts控制台的“镜像管理”页面中单击“注册镜像”。
确认创建Notebook实例使用的镜像的系统架构,可以在Notebook中打开Terminal,通过命令uname -m查看。 下载对应版本的vscode-server,根据Commit码和Notebook实例镜像架构下载。
在Windows上安装配置Grafana 适用场景 本章节适用于在Windows操作系统的PC中安装配置Grafana。 操作步骤 下载Grafana安装包。 进入下载链接,单击Download the installer,等待下载成功即可。 安装Grafana。
MOSSMultiTurnHandler:使用微调的moss数据集。
MOSSMultiTurnHandler:使用微调的moss数据集。
处理方法 当ECC错误且计数超过64时,系统会自动隔离故障节点,重启训练作业确认故障是否解决。如果未隔离的节点导致训练作业再次失败或卡死,请联系技术支持处理。 父主题: 业务代码问题
DINKm5SUIDhhGb1eWm3/task/", "work_path_type" : 0, "workspace_id" : "0", "enterprise_project_id" : "0", "workforce_task_count" : 0, "feature_supports
图1 等待模型载入 训练完成后,生成的权重文件保存路径为:/mnt/sfs_turbo/llm_train/saved_dir_for_output/llama2-13b/saved_models/。 最后,请参考训练结果输出章节查看预训练的日志和性能。
MOSSMultiTurnHandler:使用微调的moss数据集。
/Ascend-hdk-型号-npu-driver_版本号_linux-aarch64.run --full --install-for-all (可选)根据系统提示信息决定是否重启系统,如果需要重启,请执行以下命令;否则,请跳过此步骤。
用户本地PC或服务器的操作系统中建议先安装Python环境,详见VSCode官方指导。 创建一个Notebook实例,并开启远程SSH开发。该实例状态必须处于“运行中”,具体参见创建Notebook实例(默认页面)章节。
在训练环境中,系统可能会传入在Python脚本里没有定义的其他参数名称,导致参数无法解析,日志报错。
在ModelArts控制台界面上单击VS Code接入并在新界面单击打开,VS Code打开后未进行远程连接 如果本地为Linux系统,见原因分析二。 原因分析一 自动安装VS Code插件ModelArts-HuaweiCloud失败。