检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
系统后台会自动上传训练输出至指定的训练输出路径,请保证您设置的桶路径有写入权限和读取权限。 在ModelArts中,训练代码需包含(可选)引入依赖和解析和设置输入路径参数、输出路径参数步骤。
ModelArts 提供了对分布式训练的支持,能够自动配置和管理多节点间的通信与资源分配,从而实现高效的并行计算。 ModelArts提供了如下能力: 丰富的官方预置镜像,满足用户的需求。 支持基于预置镜像自定义制作专属开发环境,并保存使用。
<组织名称>:创建镜像组织中设置,可在SWR页面的组织管理中自行查看 <镜像名称>:<版本名称>:定义镜像名称。
图1 查看报错信息 解决方法 ModelArts权限管理的委托权限不足,导致创建失败? 解决方法请参见ModelArts创建委托授权。 申请的资源中包含受限购买的资源规格,导致购买失败?
ModelArts提供了包年/包月的AI专属资源池,包括Standard资源池、弹性集群Lite Cluster资源池和弹性节点Server资源池 假设您计划购买包年/包月的Standard专属资源池,可在ModelArts控制台“资源管理 > 标准算力集群 (Standard Cluster
数据准备:提前在ModelArts管理控制台创建一个数据集。
选择Operating System、Architecture、Distribution、Version、Installer Type后,会生成对应的安装命令,复制安装命令并运行即可。
ModelArts Standard权限配置 样例 对应功能 场景 说明 ModelArts Standard权限管理 IAM权限配置、权限管理 为子账号配置权限 当一个华为云账号下需创建多个IAM子账号时,可参考此样例,为IAM子账号赋予使用ModelArts所需的权限。
conditions=[condition_equal], if_then_steps=["training_job_1"], else_then_steps=["training_job_2"], ) # 构建一个OutputStorage对象,对训练输出目录做统一管理
实例的密钥文件已经下载至本地的如下目录或其子目录中: Windows:C:\Users\{{user}} Mac/Linux: Users/{{user}} VS Code连接Notebook 登录ModelArts管理控制台,在左侧导航栏中选择“开发空间 > Notebook”,
当该字段包含多个值时,系统将采用第一个值;当字段值为-时,显示为空字符串。 IP地址默认显示为“全部”,您也可以按需勾选IP地址。 在“调用统计”页面,查看整体服务的总调用次数、总调用失败次数、总调用Tokens数等信息。 监控指标默认保留三位小数。
图1 设置推理参数 表3 参数设置 参数 说明 取值样例 温度/Temperature 设置推理温度。 数值较高,输出结果更加随机。 数值较低,输出结果更加集中和确定。 0.7 核采样/top_p 设置推理核采样。调整输出文本的多样性,数值越大,生成文本的多样性就越高。
CANN:cann_8.0.rc3 容器镜像OS:hce_2.0 PyTorch:pytorch_2.1.0、pytorch2.3.1 MindSpore:MindSpore 2.4.0 FrameworkPTAdapter:6.0.RC3 CCE:如果用到CCE,版本要求是CCE Turbo
基于标签修改 在数据标注概览页,单击右侧的“标签管理”,即可显示全部标签的信息。 图6 全部标签的信息 修改标签:在需要修改的标签的“操作”列,单击“修改”,输入修改后的标签,单击“确定”即可。
图5 成功上传镜像 Step8 注册镜像 镜像上传至SWR成功后,在ModelArts控制台的“镜像管理”页面中单击“注册镜像”。
conda activate [env_name] # 例如使用conda管理python环境(需要确认环境已安装Anaconda) 在python环境中安装CLI工具。 pip install .
CANN:cann_8.0.rc3 容器镜像OS:hce_2.0 PyTorch:pytorch_2.1.0、pytorch_2.2.0 MindSpore:MindSpore 2.3.0 FrameworkPTAdapter:6.0.RC3 如果用到CCE,版本要求是CCE Turbo
CANN:cann_8.0.rc3 容器镜像OS:hce_2.0 PyTorch:pytorch_2.1.0、pytorch2.3.1 MindSpore:MindSpore 2.4.0 FrameworkPTAdapter:6.0.RC3 CCE:如果用到CCE,版本要求是CCE Turbo
图7 成功上传镜像 Step8 注册镜像 镜像上传至SWR成功后,在ModelArts控制台的“镜像管理”页面中单击“注册镜像”。
登录ModelArts管理控制台。 在左侧导航栏中,选择“模型训练 > 训练作业”。 在训练作业列表中,单击目标作业,进入训练作业详情页。 选择“日志”页签。 如图1所示,可以查看训练作业已启用动态路由,还可以根据Rank-ID搜索日志。