检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建并完成图像分类的智能标注任务 本节通过调用一系列API,以创建并完成智能标注任务为例介绍ModelArts API的使用流程。 概述 创建智能标注任务的流程如下: 调用认证鉴权接口获取用户Token,在后续的请求中需要将Token放到请求消息头中作为认证。 调用启动智能任务接口给图像分类的数据集创建一个智能标注任务
使用该接口的前提条件是用户已登录系统并具有操作目标Notebook实例的权限,同时Notebook实例必须处于运行状态。调用该接口后,系统将延长指定Notebook实例的运行时间,用户可继续使用。若用户无权限操作指定实例或Notebook实例未运行,接口将返回相应的错误信息。
“智能标注”是指基于当前标注阶段的标签及图片学习训练,选中系统中已有的模型进行智能标注,快速完成剩余图片的标注操作。“智能标注”又包含“主动学习”和“预标注”两类。 “主动学习”表示系统将自动使用半监督学习、难例筛选等多种手段进行智能标注,降低人工标注量,帮助用户找到难例。
创建并挂载SFS Turbo SFS Turbo为用户提供按需扩展的高性能共享文件存储,还具备高可靠和高可用的特点,支持根据业务需要弹性扩容,且性能随容量增加而提升,可广泛应用于多种业务场景。 在SFS服务控制台上创建文件系统,具体步骤请参考创建SFS Turbo文件系统。
创建并挂载SFS Turbo SFS Turbo为用户提供按需扩展的高性能共享文件存储,还具备高可靠和高可用的特点,支持根据业务需要弹性扩容,且性能随容量增加而提升,可广泛应用于多种业务场景。 在SFS服务控制台上创建文件系统,具体步骤请参考创建SFS Turbo文件系统。
创建并挂载SFS Turbo SFS Turbo为用户提供按需扩展的高性能共享文件存储,还具备高可靠和高可用的特点,支持根据业务需要弹性扩容,且性能随容量增加而提升,可广泛应用于多种业务场景。 在SFS服务控制台上创建文件系统,具体步骤请参考创建SFS Turbo文件系统。
__init__() self.linear_1 = nn.Linear(in_features=8, out_features=4) self.linear_2 = nn.Linear(in_features=4, out_features=2)
迁移调优工具链 工具总览 精度调试:msprobe 精度调试:TensorBoard可视化 性能调优: MA-Advisor性能诊断 父主题: GPU业务迁移至昇腾训练推理
sudo apt-get update sudo apt-get install nfs-common 获取SFS Turbo的挂载命令。 进入弹性文件服务SFS管理控制台。 选择“SFS Turbo”进入文件系统列表,单击文件系统名称,进入详情页面。
停止智能任务 功能介绍 停止智能任务,支持停止“智能标注”和“自动分组”两大类智能任务。可通过指定路径参数“task_id”来停止某个具体任务。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能
“智能标注”是指基于当前标注阶段的标签及图片学习训练,选中系统中已有的模型进行智能标注,快速完成剩余图片的标注操作。“智能标注”又包含“主动学习”和“预标注”两类。 “主动学习”表示系统将自动使用半监督学习、难例筛选等多种手段进行智能标注,降低人工标注量,帮助用户找到难例。
图4 查看资源详情 步骤五:Lite Cluster节点主机挂载SFS Turbo文件系统 在弹性文件服务SFS控制台左侧导航栏选择“SFS Turbo”,单击步骤二:创建SFS Turbo文件系统创建的SFS Turbo文件系统名称,进入SFS Turbo文件系统详情界面,复制“
智能标注是指基于当前标注阶段的标签及图片学习训练,选中系统中已有的模型进行智能标注,快速完成剩余图片的标注操作。
API方式 如果您需要将ModelArts Standard集成到第三方系统,用于二次开发,请使用API方式访问ModelArts,具体操作和API详细描述,请参见《API参考》。
@modelarts:feature Object 物体检测标签专用内置属性:形状特征,类型为List。以图片的左上角为坐标原点[0, 0],每个坐标点的表示方法为[x, y],x表示横坐标,y表示纵坐标(x和y均>=0)。
同时该网络的解除关联SFS Turbo按钮置灰不可操作。 图3 关联SFS Turbo状态 原因分析 ModelArts缺少SFS Turbo委托权限导致关联或解除关联失败。
在notebook中使用performance advisor插件进行性能分析,源数据选择OBS并指定profiling所在的OBS路径(仅支持OBS并行文件系统)。
@modelarts:feature Object 物体检测标签专用内置属性:形状特征,类型为List。以图片的左上角为坐标原点[0, 0],每个坐标点的表示方法为[x, y],x表示横坐标,y表示纵坐标(x和y均>=0)。
将数据预热到SFS Turbo 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。
系统会在训练作业启动前,自动将存储位置中的文件目录挂载到训练容器中指定路径。 图2 设置训练“SFS Turbo” 当前训练作业支持挂载多个弹性文件服务SFS Turbo,文件系统支持重复挂载,但挂载路径不可重复。文件系统目录需指定已存在的目录,否则会导致训练作业异常。