检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在左侧导航栏,单击“在线推理”。 在“预置服务”页签,单击“免费服务”页签,在DeepSeek服务右侧的“操作”列,单击“领取额度”。 免费配额将会在几分钟内到账,到账后您可进行体验或调用。当免费Token额度用完后,还要继续使用该模型,可以部署为我的服务付费使用,或开通商用服务付费使用。详情请参见使
当ModelArts和SFS Turbo间网络直通时,训练作业支持挂载多个SFS Turbo存放训练数据。文件系统支持重复挂载,但是挂载路径不可重复。最多可以挂载5个盘。配置ModelArts和SFS Turbo间网络直通,具体操作请参见配置ModelArts和SFS Turbo间网络直通。 图4
Arts Studio(MaaS)预置服务中开通商用服务。 预置服务-免费服务:已使用免费服务并产生调用记录。具体操作,请参见在ModelArts Studio(MaaS)预置服务中体验免费服务。 我的服务:已在“我的服务”页面部署模型服务并产生调用记录。具体操作,请参见使用ModelArts
断点续训练。 SFS Turbo 当ModelArts和SFS Turbo间网络直通时,训练作业支持挂载多个SFS Turbo存放训练数据。单击“增加挂载配置”,填写如下参数。 “文件系统”:选择一个SFS Turbo。 “云上挂载路径”:输入SFS Turbo对应在训练容器内的云上挂载路径。
ModelArts Standard环境 前提条件 已上传训练代码、训练权重文件和数据集到OBS或SFS Turbo共享盘中,具体参考OBS桶或SFS Turbo共享盘,根据实际选择所需存储方式。 步骤一:创建训练任务 登录ModelArts管理控制台,在左侧导航栏选择“模型训练
在SFS管理控制台,在SFS Turbo中单击右上角的“创建文件系统”,如果能正常打开页面,表示当前用户具备SFS的操作权限。 验证ECS权限。 在左上角的服务列表中,选择ECS服务,进入ECS管理控制台。 在ECS管理控制台,单击右上角的“购买弹性云服务器”,如果能正常打开页面,表示当前用户具备ECS的操作权限。
产品优势 ModelArts服务具有以下产品优势。 稳定安全的算力底座,极快至简的模型训练 支持万节点计算集群管理。 大规模分布式训练能力,加速大模型研发。 提供高性价比国产算力。 多年软硬件经验沉淀,AI场景极致优化。 加速套件,训练、推理、数据访问多维度加速。 一站式端到端生产工具链,一致性开发体验
动态挂载OBS并行文件系统 什么是动态挂载OBS并行文件系统 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,详细介绍可以参见并行文件系统。 在ModelArts运行
查询视频生成任务 查询视频生成任务API用于根据任务ID查询视频生成任务的状态和结果。 接口信息 表1 接口信息 名称 说明 取值 API地址 查询视频生成任务的API地址,需要在链接末尾拼接生成任务的task_id。 task_id可以通过创建视频生成任务API获取。 https://api
方式,将数据集上传至SFS Turbo中。 方式一:将下载的原始数据通过SSH直接上传至SFS Turbo中。具体步骤如下: 进入到/mnt/sfs_turbo/目录下。创建目录“training_data”,将原始数据存放在/mnt/sfs_turbo/training_data目录下。
方式,将数据集上传至SFS Turbo中。 方式一:将下载的原始数据通过SSH直接上传至SFS Turbo中。具体步骤如下: 进入到/mnt/sfs_turbo/目录下。创建目录“training_data”,将原始数据存放在/mnt/sfs_turbo/training_data目录下。
您所在企业的华为方技术支持。 提示:本文档适用于OBS+SFS Turbo的数据存储方案,不适用于仅OBS存储方案。通过OBS对象存储服务(Object Storage Service)与SFS Turbo文件系统联动,可以实现灵活数据管理、高性能读取等。 约束限制 如果要使用自动重启功能,资源规格必须选择八卡规格。
Gallery工具链服务,即服务不处于计费的状态中,则系统不会立即扣费,依然等到满1小时后再进行扣费,且基于当前1小时内的实际使用时长进行扣费。 实际计费规则 资源按时价扣费,真正计费的价格以实际账单为准。查看账单请参见账单介绍。 用户在创建AI Gallery工具链服务选择付费资源时
${work_dir}/llm_train/AscendFactory/third-party/internvl25-8b.patch 父主题: 训练服务配置说明
Studio(MaaS)创建自定义MCP服务 在ModelArts Studio(MaaS)MCP广场开通预置MCP服务 计费说明 预置MCP服务:在MCP广场开通MCP服务不涉及收费。调用MCP服务时,可能会涉及到第三方平台服务的使用费用,请以第三方平台的计费规则为准。 自定义MCP服务:创建自定义MC
CANN Graph 什么是CANN Graph CANNGraph图模式是一种Capture-Replay架构的Host图,可以有效消除Host瓶颈,支持模型输入动态shape,无需分档构图,构图较快。未设置INFER_MODE环境变量时,即默认模式下,部分模型会默认使用CANNGraph图模式启动来提升性能。
在使用ModelArts平台的MaaS服务时,权限管理是保障服务正常运行和数据安全的关键环节。ModelArts平台所有功能均依托IAM体系进行权限管控,服务管理员可借此对用户进行精细化权限设置。然而,部分用户在操作过程中,因未正确处理权限相关设置,出现了不可预期的错误,导致服务使用受阻。 无论是个
到flash attention算子耗时最长且降频比率最高,因此降频严重影响了整体的训练性能。对于降频问题,用户通常无法自行解决,需要联系服务方如华为云技术支持排查机器的温度和功耗。 图11 降频分析 AICPU Issues 下图展示了高优先级的AICPU问题,AICPU算子单
精度调试:TensorBoard可视化 TensorBoard是TensorFlow的可视化工具包,提供机器学习实验所需的可视化功能和工具。TensorBoard能够有效地展示训练过程中的计算图、各种指标随时间的变化趋势以及训练中使用到的数据信息,帮助用户快速识别训练精度问题。
精度比对 精度比对功能主要针对两类场景的问题: 同一模型,从CPU或GPU移植到NPU中存在精度下降问题,对比NPU芯片中的API计算数值与CPU或GPU芯片中的API计算数值,进行问题定位。 同一模型,进行迭代(模型、框架版本升级或设备硬件升级)时存在的精度下降问题,对比相同模