检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
s集成了深度学习和机器学习技术,同时ModelArts是一站式的AI开发平台,从数据标注、算法开发、模型训练及部署,管理全周期的AI流程。直白点解释,ModelArts包含并支持DLS中的功能特性。当前,DLS服务已从华为云下线,深度学习技术相关的功能可以直接在ModelArts
详情,复制对应局点的镜像URL,即可在ModelArts控制台“镜像管理”注册并在Notebook中使用。 如果需要使用更高版本的MindSpore类型的Ascend架构镜像,可选择西南-贵阳一局点。 自定义镜像:可以将基于公共镜像创建的实例保存下来,作为自定义镜像使用,请参考保
物体检测标注时除了位置、物体名字,是否可以设置其他标签,比如是否遮挡、亮度等? 可以通过修改数据集给标签添加自定义属性来设置一些自定义的属性。 图1 修改数据集 父主题: Standard数据管理
在导入AI应用时,提示单个模型文件大小超过5G限制。 原因分析 在不使用动态加载的情况下,系统对单个模型文件的限制大小为5G,超过时无法进行导入。 处理方法 精简模型文件后,重新导入。 使用动态加载功能进行导入。 图1 使用动态加载 父主题: AI应用管理
# 返回的类型为dict,可按需打印查看 print(engine_dict) 使用案例 主要包含七种场景的用例: 使用订阅自AI Gallery的算法 使用算法管理中的算法 使用自定义算法(代码目录+启动文件+官方镜像) 使用自定义算法(代码目录+脚本命令+自定义镜像) 基于数据集版本发布节点构建作业类型节点
构建为一个自定义镜像,通过自定义镜像创建训练作业。 使用已有算法创建训练作业 算法管理中,管理了用户自己创建的算法和AI Gallery订阅的算法,您可以使用算法管理中的算法,快速创建训练作业,构建模型。 使用订阅算法创建训练作业 AI Gallery中提供了现成的算法,供用户使用,您可以直接订阅AI
委托授权的越权风险 可以看到用户的委托授权是独立的,理论上用户的委托授权范围是可以超出用户自身用户组的授权策略的授权范围,如果配置不当就会出现用户越权的问题。 为了控制委托授权的越权风险,ModelArts服务的权限管理功能要求只有租户管理员才能为用户配置委托,由管理员保证委托授权的安全性。
参数错误 请检查填写的参数。 400 ModelArts.0107 The values of the request parameters ({0},{1}) are invalid. 请求的参数值 ({0},{1})是无效的. 检查提示的参数值是否是有效的。 400 ModelArts
out” 问题现象 使用pytorch进行分布式训练时,日志中出现报错“RuntimeError: connect() timed out”。 原因分析 出现该问题的可能原因如下: 如果在此之前是有进行数据复制的,每个节点复制的速度不是同一个时间完成的,然后有的节点没有复制完,其他节点进行torch
line error"文档进行修复。 如果是分布式作业有的节点有错误,有的节点正常,建议提工单请求隔离有问题的节点。 如果是触发了欧拉操作系统的限制,有如下建议措施。 分目录处理,减少单个目录文件量。 减慢创建文件的速度。 关闭ext4文件系统的dir_index属性,具体可参考:https://access
部署在线服务时,您可以选择性能更好的“计算节点规格”提高预测速度。例如使用GPU资源代替CPU资源。 部署在线服务时,您可以增加“计算节点个数”。 如果节点个数设置为1,表示后台的计算模式是单机模式;如果节点个数设置大于1,表示后台的计算模式为分布式的。您可以根据实际需求进行选择。
如果是“按需计费”的资源池,您可单击操作列的“删除”,即可实现对单个节点的资源释放。 如果想批量删除节点,勾选待删除节点名称前的复选框,然后单击名称上方的“删除”,即可实现对多个节点的资源释放。 如果是“包年/包月”且资源未到期的资源池,您可单击操作列的“退订”,即可实现对单个节点的资源释放。
save_mode='w', session=None) 示例代码 在保存Pascal VOC的XML文件之前需要先创建包含Pascal VOC信息的对象,包括voc object信息等。保存的时候调用save_xml接口,将session信息传入,即可保存到指定路径。 from modelarts.dataset
line error"文档进行修复。 如果是分布式作业有的节点有错误,有的节点正常,建议提工单请求隔离有问题的节点。 如果是触发了欧拉操作系统的限制,有如下建议措施。 分目录处理,减少单个目录文件量。 减慢创建文件的速度。 关闭ext4文件系统的dir_index属性,具体可参考:https://access
是否能满足最终的迁移效果需要进行系统的评估。如果您仅需要了解迁移过程,可以先按照本文档的指导进行操作并熟悉迁移流程。如果您有实际的项目需要迁移,建议填写下方的推理业务迁移评估表,并将该调研表提供给华为云技术支持人员进行迁移评估,以确保迁移项目能顺利实施。 通用的推理业务及LLM推理可提供下表进行业务迁移评估:
创建AI应用成功后,部署服务报错,如何排查代码问题 问题现象 创建AI应用成功后,部署服务失败,如何定位是模型代码编写有问题。 原因分析 用户自定义镜像或者通过基础镜像导入的AI应用时,用户自己编写了很多自定义的业务逻辑,这些逻辑有问题将会导致服务部署或者预测失败,需要能够排查出哪里有问题。 处理方法 服务部署失败后
在使用ModelArts数据管理的功能前,需要先完成以下准备工作。 用户在使用数据管理的过程中,ModelArts需要访问用户的OBS等依赖服务,需要用户进行在“权限管理”页面中进行委托授权。具体操作参考使用委托授权(推荐)。 创建数据集 本示例使用OBS中的数据作为数据集的输入目录创建数据
Server资源 场景描述 本文主要介绍如何配置DCGM监控。DCGM是用于管理和监控基于Linux系统的NVIDIA GPU大规模集群的一体化工具,提供多种能力,包括主动健康监控、诊断、系统验证、策略、电源和时钟管理、配置管理和审计等。 前提条件 裸金属服务器需要安装driver、cuda、fabric-manager软件包。
云基础架构的可用性。而云服务客户则需要负责保护自己的数据和应用程序,以及遵守相关的合规性要求。 具体而言,云服务提供商应该提供以下服务和功能: 建立和维护安全的基础设施,包括网络、服务器和存储设备等。 提供安全的底层基础平台,保证底层环境的运行时安全。 提供安全的身份验证和访问控
[Errno xx] Broken pipe”。 原因分析 出现该问题的可能原因如下: 在大规模分布式作业上,每个节点都在拷贝同一个桶的文件,导致OBS桶限流。 OBS Client连接数过多,进程/线程之间的轮询,导致一个OBS Client与服务端连接30S内无响应,超过超时时间,服务端断开了连接。