检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HTTP响应头域示例： Body-Sign: sign_type="HMAC-SHA256", signature= "*****" 消息头的格式请严格按照示例添加，sign_type和signature的值必须要加双引号。 代码示例请参见ISV Server对响应消息体进行签名。 父主题： 接入准备工作
管理节点弹性策略 操作场景 节点弹性策略创建完成后，可对创建的策略进行删除、编辑、停用、启用、克隆等操作。 查看节点弹性策略 您可以查看节点弹性策略的关联节点池、执行规则和伸缩历史，参照界面中的提示有针对性的解决异常问题。 在CCE控制台，单击集群名称进入集群。 单击左侧导航栏的
极速文件存储卷 极速文件存储卷概述 使用kubectl对接已有极速文件存储卷 使用kubectl部署带极速文件存储卷的无状态工作负载 使用kubectl部署带极速文件存储卷的有状态工作负载 父主题： 存储管理-Flexvolume（已弃用）
单集群视角的成本洞察 单集群视角的成本洞察是为了帮助成本运维人员深入集群内部，从命名空间、应用、节点池等多个维度分析集群成本开销、资源使用状况，进而提供成本优化的依据。当前支持集群维度和命名空间维度两个视角的成本洞察。 前提条件 已开通成本洞察功能 约束与限制 由于实际账单的获取
参数类型 是否必选 说明 1 schema string True 未授权：1. 请确认是否购买了客户服务云相关服务。 2. 系统管理员登陆客户服务云系统，进入“系统参数->统一公共配置->云客户配置”，确认软件云对接官网地址配置是否正确。3.确认请求头参数设置是否正确 响应状态码: 502
已订购的包年包月计费的ServiceStage按需资源包是否支持转按需计费模式？ 包年包月计费的ServiceStage按需资源包，不支持转按需计费模式。 不过您运行在ServiceStage上的应用实例数量超过了当前订购的资源包规格时，超过的实例数会以按需计费模式计费。例如，您
上传代码到GitLab代码仓库 本实践使用的是Java项目代码，使用Maven构建Jar包。 前提条件 Jenkins所在Linux虚拟机能够访问GitLab代码仓库。 已经在GitLab创建账号和仓库。 操作步骤 登录GitLab。 上传代码到已创建好的代码仓库。 父主题： 操作前准备
使用发布单实现组件跨可用区搬迁 本章节指导您使用ServiceStage发布管理的批量克隆功能，将部署组件到指定CCE集群中已经成功部署在az1可用区的cce-az1集群上的组件搬迁到az2可用区的cce-az2集群。 操作步骤 登录ServiceStage控制台。 选择“发布管理
使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化、per-tensor+per-head静态量化以及per-token，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。
录制Profiling Ascend PyTorch Profiler是针对PyTorch框架开发的性能数据采集和解析工具，通过在PyTorch训练脚本中插入Ascend PyTorch Profiler接口，执行训练的同时采集性能数据，完成训练后直接输出可视化的性能数据文件，提升了性能分析效率。
执行LoRA微调训练任务 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
常见错误原因和解决方法 显存溢出错误 网卡名称错误 保存ckpt时超时报错 父主题： 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.908）
常见错误原因和解决方法 显存溢出错误 网卡名称错误 保存ckpt时超时报错 父主题： 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.909）
常见错误原因和解决方法 显存溢出错误 网卡名称错误 保存ckpt时超时报错 父主题： 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.911）
训练启动脚本说明和参数配置 本代码包中集成了不同模型的训练脚本，并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。若未完成，则执行脚本，自动完成数据预处理和权重转换的过程。 若用户进行自定义数据集预处理以及权重转换，可通过编辑 1_preprocess_data
附录：指令微调训练常见问题 问题1：在训练过程中遇到NPU out of memory 解决方法： 将yaml文件中的per_device_train_batch_size调小，重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等级，可参考各个模型深度学习训
执行LoRA微调训练任务 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
工具介绍及准备工作 本章节主要介绍针对LLaMAFactory开发的测试工具benchmark，支持训练、性能对比、下游任务评测、loss和下游任务对比能力。对比结果以excel文件呈现。方便用户验证发布模型的质量。所有配置都通过yaml文件设置，用户查看默认yaml文件即可知道最优性能的配置。
录制Profiling Ascend PyTorch Profiler是针对PyTorch框架开发的性能数据采集和解析工具，通过在PyTorch训练脚本中插入Ascend PyTorch Profiler接口，执行训练的同时采集性能数据，完成训练后直接输出可视化的性能数据文件，提升了性能分析效率。
删除服务 功能介绍 该接口用于删除服务信息。 URI DELETE /v1/{project_id}/infer-services/{service_id} 参数说明请参见表1。 表1 URI参数说明 名称 是否必选 参数类型 说明 project_id 是 String 项目编
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
