检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-45332 Presto Worker2线程数超过阈值 告警解释 系统会检查Presto Coordinator和Worker实例的线程使用情况，默认阈值为1024个。如果Presto Coordinator或Worker的线程数超过阈值，则发出告警。 告警属性 告警ID
查询指定VPN下Overlay WAN侧BGP路由策略模板绑定信息 典型场景 查询指定VPN下Overlay WAN侧BGP路由策略模板绑定信息。 接口功能 查询指定VPN下Overlay WAN侧BGP路由策略模板绑定信息。 接口约束 该接口支持租户视图或msp代维视图下，角色为“Open
上传代码到GitLab代码仓库 本实践使用的是Java项目代码，使用Maven构建Jar包。 前提条件 Jenkins所在Linux虚拟机能够访问GitLab代码仓库。 已经在GitLab创建账号和仓库。 操作步骤 登录GitLab。 上传代码到已创建好的代码仓库。 父主题： 操作前准备
使用发布单实现组件跨可用区搬迁 本章节指导您使用ServiceStage发布管理的批量克隆功能，将部署组件到指定CCE集群中已经成功部署在az1可用区的cce-az1集群上的组件搬迁到az2可用区的cce-az2集群。 操作步骤 登录ServiceStage控制台。 单击左侧导航栏“发布管理”。
已订购的包年包月计费的ServiceStage按需资源包是否支持转按需计费模式？ 包年包月计费的ServiceStage按需资源包，不支持转按需计费模式。 不过您运行在ServiceStage上的应用实例数量超过了当前订购的资源包规格时，超过的实例数会以按需计费模式计费。例如，您
（打印）部署基于sqlQuery的sql查询流 在集成工作台-公共流模板-工业类中，选择刚才复制过来的"sql查询接口-基于SqlQuery"，点击创建流 点击"下一步" 点击"下一步" 点击"创建" 开启流 父主题： 基于公共流模板部署其它接口
录制Profiling Ascend PyTorch Profiler是针对PyTorch框架开发的性能数据采集和解析工具，通过在PyTorch训练脚本中插入Ascend PyTorch Profiler接口，执行训练的同时采集性能数据，完成训练后直接输出可视化的性能数据文件，提升了性能分析效率。
支持的模型列表 模型列表分为表1 大语言模型列表和表2 多模态模型列表，详细如下。 表1 支持的大语言模型列表和权重获取地址 模型参数量 是否适配MindSpeed-LLM 是否适配Llama-Factory 是否适配VeRL 开源权重文件获取地址 llama3.1-8b √ √
准备镜像 镜像可分为使用基础镜像、DockerFile制作后的训练镜像（二选一），使用Dockerfile制作后的训练镜像比使用基础镜像多了步骤：DockerFile制作训练镜像。 详细步骤 创建镜像组织：在SWR服务页面创建镜像组织。 图1 创建镜像组织 登录ECS服务器: 根据2
执行LoRA微调训练任务 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
分离部署 PD分离部署使用说明 父主题： 推理关键特性使用
Prefix Caching 什么是Prefix Caching 在LLM推理应用中，经常会面临具有长system prompt的场景以及多轮对话的场景。长system prompt的场景，system prompt在不同的请求中但是相同的，KV Cache的计算也是相同的；多轮
投机推理 投机推理使用说明 Eagle投机小模型训练 父主题： 推理关键特性使用
multi-lora 什么是multi-lora LoRA（Low-Rank Adaptation）是一种适用于大模型的轻量化微调技术方法。原理是通过在模型层中引入低秩矩阵，将大模型的权重降维处理，来实现高效的模型适配。相比于传统的微调方法，LoRA不仅能大幅减少所需的训练参数，
工具介绍及准备工作 本章节主要介绍针对ModelLink开发的测试工具benchmark，支持训练、性能对比、下游任务评测、loss和下游任务对比能力。对比结果以excel文件呈现。方便用户验证发布模型的质量。所有配置都通过yaml文件设置，用户查看默认yaml文件即可知道最优性能的配置。
工具介绍及准备工作 本章节主要介绍针对LLaMAFactory开发的测试工具benchmark，支持训练、性能对比、下游任务评测、loss和下游任务对比能力。对比结果以excel文件呈现。方便用户验证发布模型的质量。所有配置都通过yaml文件设置，用户查看默认yaml文件即可知道最优性能的配置。
执行“执行PowerShell脚本”步骤，部署进程被第三方杀毒软件拦截问题 问题现象 部署主机相关的应用时，应用部署失败，错误信息中包含如下内容： 错误信息：“"msg": "Unexpected failure during module execution."”。 原因分析
训练中的权重转换说明 以 llama2-13b 举例，运行 0_pl_pretrain_13b.sh 脚本。脚本同样还会检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行预训练任务。若未进行权重转换，则会自动执行 scripts/llama2/2_convert_mg_hf
附录：指令微调训练常见问题 问题1：在训练过程中遇到NPU out of memory 解决方法： 将yaml文件中的per_device_train_batch_size调小，重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等级，可参考各个模型深度学习训
multi-step 什么是multi-step vLLM的调度和输入准备的CPU开销可能会导致NPU利用率不足，开启multi-step调度可以有效解决这个问题，开启multi-step调度后会在执行一次调度和输入准备后，连续n步运行模型。通过NPU在n步之间连续处理，而无需等
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
