检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表20 Os 参数 参数类型 描述 name String 操作系统名称。 imageId String 操作系统镜像id。 imageType String 操作系统镜像类型。 private:私有镜像。
华为云Ant8裸金属服务器使用Ubuntu20.04操作系统默认已经安装IB驱动。)
日志采集可靠性说明 日志系统的核心功能在于记录业务组件的全生命周期状态数据(包括启动初始化、退出、运行时信息及异常事件等),主要服务于组件运行状态查看与故障根因分析等运维场景。
( blocksize,系统默认 4096B。
/Ascend-hdk-型号-npu-driver_版本号_linux-aarch64.run --full --install-for-all (可选)根据系统提示信息决定是否重启系统,如果需要重启,请执行以下命令;否则,请跳过此步骤。
训练作业的资源占用情况系统会自动保存30天,过期会被清除。 如何查看训练作业资源使用详情 在ModelArts管理控制台的左侧导航栏中选择“模型训练 > 训练作业”。 在训练作业列表中,单击作业名称进入训练作业详情页面。
数据管理权限 表1 数据集管理的细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 查询数据集列表 GET /v2/{project_id}/datasets modelarts:dataset:list - √ √ 创建数据集 POST /v2/{project_id
通过系统自动注入的PATH环境变量,可以参考下述命令确认训练作业最终使用的Python版本。
例如,用户在创建训练任务时打开了“消息通知”,该功能依赖SMN委托授权,但只有训练任务运行过程中,真正需要发送消息时,系统才会“出错”,而有些错误系统会选择“忽略”,另一些错误则可能导致任务直接失败。
[required] -a, --arch [X86_64|AARCH64] Image architecture (default: X86_64).
处理方法 尽量代码里不要去修改CUDA_VISIBLE_DEVICES变量,用系统默认里面自带的。 如果必须指定卡ID,需要注意1/2/4规格下,指定的卡ID与实际分配的卡ID不匹配的情况。
但是清除缓存也可能会导致容器启动失败或系统性能暂时下降(因为系统需要重新从磁盘加载数据到内存中)。关闭表示不启用缓存清理功能。 大页内存:开启表示配置使用透明大页功能。大页内存是一种内存管理机制,可以通过增大内存页的大小来提高系统性能。
表21 Os 参数 参数类型 描述 name String 操作系统名称。 imageId String 操作系统镜像id。 imageType String 操作系统镜像类型。 private:私有镜像。
例如,用户在创建训练任务时打开了“消息通知”,该功能依赖SMN委托授权,但只有训练任务运行过程中,真正需要发送消息时,系统才会“出错”,而有些错误系统会选择“忽略”,另一些错误则可能导致任务直接失败。
ModelArts部署使用的是容器化部署,容器运行时有空间大小限制,当用户的模型文件或者其他自定义文件,系统文件超过容器引擎空间大小时,会提示镜像内空间不足。
图1 从MRS导入数据 集群名称:系统自动将当前账号下的MRS集群展现在此列表中,但是流式集群不支持导入操作。请在下拉框中选择您所需的集群。 文件路径:根据选择的集群,输入对应的文件路径,此文件路径为HDFS路径。 导入是否包含表头:开启表示导入时将表头同时导入。
查看训练作业事件 训练作业的(从用户可看见训练作业开始)整个生命周期中,每一个关键事件点在系统后台均有记录,用户可随时在对应训练作业的详情页面进行查看。 方便用户更清楚的了解训练作业运行过程,遇到任务异常时,更加准确的排查定位问题。
查看ModelArts模型事件 创建模型的(从用户可看见创建模型任务开始)过程中,每一个关键事件点在系统后台均有记录,用户可随时在对应模型的详情页面进行查看。 方便用户更清楚的了解创建模型过程,遇到任务异常时,更加准确的排查定位问题。
在Linux上安装配置Grafana 适用场景 本章节适用于在Linux操作系统的PC中安装配置Grafana。 前提条件 一台可访问外网的Ubuntu服务器。
Standard模型部署 ModelArts Standard提供模型、服务管理能力,支持多厂商多框架多功能的镜像和模型统一纳管。 通常AI模型部署和规模化落地非常复杂。 例如,智慧交通项目中,在获得训练好的模型后,需要部署到云、边、端多种场景。如果在端侧部署,需要一次性部署到不同规格