检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建ERP数据同步到OA业务流 进入我的流页面,创建一条新流 流名称为"基础数据从ERP同步到OA",初始节点选择计划-重复执行,重复周期为通过全局配置传入 点击流里面的输入框,可以管理全局配置 首先从ERP查询数据,因此第一个节点选择B1连接器的查询单据列表执行动作 执行动作中的参数用全局配置来管理
卸载UDF 语法 DROP FUNCTION <UDF-NAME> 示例 在IoTDB客户端执行以下命令,卸载名称为“example”的UDF。 DROP FUNCTION example 父主题: 在IoTDBServer节点调测UDF应用
注册UDF 构建Jar包。 构建Jar包方式有以下两种: 方法一: 选择“Maven > 样例工程名称 > Lifecycle > clean”,双击“clean”运行maven的clean命令。 选择“Maven > 样例工程名称 > Lifecycle > install”,
卸载UDF 语法 DROP FUNCTION <UDF-NAME> 示例 在IoTDB客户端执行以下命令,卸载名称为“example”的UDF。 DROP FUNCTION example 父主题: 在IoTDBServer节点调测UDF应用
支持的模型列表 表1 支持的大语言模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持W8A16量化 是否支持 kv-cache-int8量化 开源权重获取地址 1 llama-7b √ √ √ √ √ https://huggingface
分离部署 PD分离部署使用说明 PD分离部署性能调优理论基础 PD分离部署手动配比调优(推荐) PD分离部署自动配比调优 PD分离性能调优工具使用说明 父主题: 推理关键特性使用
投机推理 投机推理使用说明 Eagle投机小模型训练 父主题: 推理关键特性使用
支持的模型列表 本文档中基于Ascend-vLLM框架支持的推理模型列表如表1 支持的大语言模型列表和表2 支持的多模态模型列表所示,各模型支持的最小卡数和最大序列请参见各模型支持的最小卡数和最大序列章节。 表1 支持的大语言模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理
训练中的权重转换说明 以 llama2-13b 举例,运行 0_pl_pretrain_13b.sh 脚本。脚本同样还会检查是否已经完成权重转换的过程。 若已完成权重转换,则直接执行预训练任务。若未进行权重转换,则会自动执行 scripts/llama2/2_convert_mg_hf
执行LoRA微调训练任务 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中,可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中,具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
录制Profiling Ascend PyTorch Profiler是针对PyTorch框架开发的性能数据采集和解析工具,通过在PyTorch训练脚本中插入Ascend PyTorch Profiler接口,执行训练的同时采集性能数据,完成训练后直接输出可视化的性能数据文件,提升了性能分析效率。
工具介绍及准备工作 本章节主要介绍针对LLaMAFactory开发的测试工具benchmark,支持训练、性能对比、下游任务评测、loss和下游任务对比能力。对比结果以excel文件呈现。方便用户验证发布模型的质量。所有配置都通过yaml文件设置,用户查看默认yaml文件即可知道最优性能的配置。
执行LoRA微调训练任务 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中,可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中,具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
创建Overlay LAN接口和LAN侧路由 已规划好相关数据,并与客户达成一致,具体信息请参考LAN侧接入数据规划和LAN侧路由数据规划。 操作步骤 单击“Overlay服务”页签。 单击“LAN接口”,在左侧选择Hub站点,单击“创建”,配置LAN接口。 单击“接口”后面的“+”号,创建GE0/0/6接口。
查询所有VPN下Overlay WAN侧BGP路由策略模板绑定信息 典型场景 查询所有VPN下Overlay WAN侧BGP路由策略模板绑定信息。 接口功能 查询所有VPN下Overlay WAN侧BGP路由策略模板绑定信息。 接口约束 该接口支持租户视图或msp代维视图下,角色为“Open
ModelArts Standard 准备资源 准备数据、权重和代码 准备镜像 父主题: 准备工作
multi-step 什么是multi-step vLLM的调度和输入准备的CPU开销可能会导致NPU利用率不足,开启multi-step调度可以有效解决这个问题,开启multi-step调度后会在执行一次调度和输入准备后,连续n步运行模型。通过NPU在n步之间连续处理,而无需等
Chunked Prefill 什么是Chunked Prefill Chunked Prefill(Splitfuse)特性的目的是将长prompt request分解成更小的块,并在多个forward step中进行调度,只有最后一块的forward完成后才开始这个prompt
执行下述命令,进入到安装目录,并执行安装。系统弹出SAP HANA Studio安装界面。 ./hdbsetup 选择安装路径,单击“Next”。 在“Select Features”界面上,勾选待安装的Features,单击“Next”。 建议选择所有Features。 在“Review &
SUMMARY_STAT_XACT_SYS_TABLES 显示集群内所有节点的Schema中系统表的事务状态统计信息(在CN节点使用,按表名对每个节点中表的事务状态统计信息汇总求和),如表1所示。 表1 SUMMARY_STAT_XACT_SYS_TABLES字段 名称 类型 描述