检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 存储类型。当前支持“obs”、“obsfs” 和“evs”,其中,obsfs类型当前仅支持部分专属资源池。若您需要挂载OBS并行文件系统,请提工单。 location Object 存储位置,如果type为“obs”类型,该参数必须填写,如表16所示数据结构,如缺省值为“NULL”。
dataset:数据集 obs:OBS swr:SWR model_list:AI应用列表 label_task:标注任务 service:在线服务 conditions Array of ConstraintResp objects 参数解释:数据约束条件。 value Map<String
dataset:数据集 obs:OBS swr:SWR model_list:AI应用列表 label_task:标注任务 service:在线服务 默认取值:不涉及。 conditions 否 Array of Constraint objects 参数解释:数据约束条件。 约束限制:不涉及。
String 存储类型,当前支持“obs”、“obsfs” 和“evs”,其中,obsfs类型当前仅支持部分专属资源池。若您需要挂载OBS并行文件系统,请提工单。 location 否 Object 存储位置,如果type为“obs”类型,该参数必须填写,如表15所示数据结构,如缺省值为“NULL”。
在“数据处理”页面,单击“创建”进入“创建数据处理”页面。 在创建数据处理页面,填写相关算法参数。 填写基本信息。基本信息包括“名称”、“版本”和“描述”。其中“版本”信息由系统自动生成,按“V0001”、“V0002”规则命名,用户无法修改。 您可以根据实际情况填写“名称”和“描述”信息。 设置场景类别。场景类别当前支持“图像分类”和“物体检测”。
# 训练使用的算法对象,示例中使用AIGallery订阅的算法;部分算法超参的值如果无需修改,则在parameters字段中可以不填写,系统自动填充相关超参值 inputs=wf.steps.JobInput(name="data_url", data=obs_data)
在“数据处理”页面,单击“创建”进入“创建数据处理”页面。 在创建数据处理页面,填写相关算法参数。 填写基本信息。基本信息包括“名称”、“版本”和“描述”。其中“版本”信息由系统自动生成,按“V0001”、“V0002”规则命名,用户无法修改。 您可以根据实际情况填写“名称”和“描述”信息。 图1 创建数据处理基本信息
rain_url”,在指定的训练输出的数据存储位置中保存Checkpoint,且“预下载至本地目录”选择“下载”。选择预下载至本地目录时,系统在训练作业启动前,自动将数据存储位置中的Checkpoint文件下载到训练容器的本地目录。 图1 训练输出设置 断点续训练建议和训练容错检
Job>Stop”,或者直接在网页端单击终止。 图30 终止训练作业 步骤5:清除相应资源 为避免产生不必要的费用,在完成试用后,建议您删除相关资源,如在线服务、训练作业及其OBS目录。 停止Notebook:在“Notebook”页面,单击对应实例操作列的“停止”。 在PyCharm菜单栏中,选择“ModelArts
Git插件相关操作,可以方便快捷地使用Github代码库。 Tabs 同时打开多个ipynb文件时,通过Tabs激活或选择文件。 Settings JupyterLab工具系统设置。 Help JupyterLab工具自带的帮助参考。 图15 ipynb文件菜单栏中的快捷键 表4 ipynb文件菜单栏中的快捷键 快捷键
插件生命周期 表3 插件生命周期 状态 状态属性 说明 安装中 中间状态 插件正处于部署状态。 如遇到插件配置错误或资源不足所有实例均无法调度等情况,系统会在10分钟后将该插件置为“不可用”状态。 运行中 稳定状态 插件正常运行状态,所有插件实例均正常部署,插件可正常使用。 升级中 中间状态
缩容。 插件生命周期 状态 状态属性 说明 安装中 中间状态 插件正处于部署状态。 如遇到插件配置错误或资源不足所有实例均无法调度等情况,系统会在10分钟后将该插件置为“不可用”状态。 运行中 稳定状态 插件正常运行状态,所有插件实例均正常部署,插件可正常使用。 升级中 中间状态
LOps打通了算法开发到交付运维的全流程。和以往的开发交付不同,以往的开发与交付过程是分离的,算法工程师开发完的模型,一般都需要交付给下游系统工程师。MLOps和以往的开发交付不同,在这个过程中,算法工程师参与度还是非常高的。企业内部一般都是有一个交付配合的机制。从项目管理角度上
dataset:数据集 obs:OBS swr:SWR model_list:AI应用列表 label_task:标注任务 service:在线服务 默认取值:不涉及。 conditions Array of Constraint objects 参数解释:数据约束条件。 约束限制:不涉及。
基于NPU利用率动态扩容节点池下的节点数,提升任务执行效率。 触发条件:当前暂时仅支持NPU利用率触发扩容。当检测到节点的NPU使用率较低时,系统可能会将任务迁移到这些节点,或者调整节点数量以更好地匹配需求。 NPU利用率=节点池容器组 (Pod)资源申请值/节点Pod可用资源值 (Node
音频(声音分类、语音内容、语音分割) 文本(文本分类、命名实体、文本三元组) 视频 参数填写无误后,单击页面右下角“创建”。 标注作业创建完成后,系统自动跳转至数据标注管理页面,针对创建好的标注作业,您可以执行智能标注、发布、修改和删除等操作。 图片(图像分类、物体检测、图像分割) 图2
全实例检测 资源利用率:当作业在一段时间内所有实例的GPU利用率或者NPU利用率没有变化,同时每个实例的CPU使用也低于1核,则判定作业卡死。 系统预置了卡死检测的环境变量“MA_HANG_DETECT_TIME=30”,表示检测到指标异常并持续30分钟则判定作业卡死。如果需要修改卡死
全实例检测 资源利用率:当作业在一段时间内所有实例的GPU利用率或者NPU利用率没有变化,同时每个实例的CPU使用也低于1核,则判定作业卡死。 系统预置了卡死检测的环境变量“MA_HANG_DETECT_TIME=30”,表示检测到指标异常并持续30分钟则判定作业卡死。如果需要修改卡死
信息。 图11 插件详情 查看资源池的磁盘规格 在资源池详情页的右上角,单击“更多>扩缩容”,在资源池扩缩容页面可以查看该资源规格中携带的系统盘、容器盘、数据盘的磁盘类型、大小、数量和写入模式、容器引擎空间大小、挂载路径磁盘配置等参数。 父主题: 管理Standard专属资源池
根据版本切分比例筛选版本。根据逗号分隔最小和最大切分比例,筛选出切分比例在此范围内的版本,例如:“0.0,1.0”。说明:如果参数值为空或无该参数,系统默认不根据版本切分比例筛选数据集。 version_format 否 Integer 数据集版本格式。可选值如下: 0:默认格式 1:Carbon格式(仅表格数据集支持)