检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备数据（可选） 此小节为自定义数据集执行过程，如非自定义数据集此小节忽略。 本教程使用到的是LLamaFactory代码包自带数据集。您也可以自行准备数据集，目前指令微调数据集支持alpaca格式和sharegpt格式的数据集；使用自定义数据集时，请更新代码目录下data/dataset_info
指令监督微调训练任务 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件、自定义数据集，可以忽略此步骤。 未上传训练权重文件，具体参考上传代码和权重文件到工作环境。 使用自定义数据集训练未上传自定义数据集。具体参考上传自定义数据到指定目录章节并更新dataset_info
版本说明和要求 资源规格要求 本文档中的模型运行环境是ModelArts Lite的弹性节点Server。推荐使用“西南-贵阳一”Region上的资源和Ascend Snt9B。 请参考Lite Server资源开通，购买Lite Server资源，并确保机器已开通，密码已获取，
推理关键特性使用 量化 剪枝 分离部署 Prefix Caching multi-step 投机推理 图模式 多模态 Chunked Prefill multi-lora guided-decoding 父主题： 主流开源大模型基于Lite Server适配Ascend-vLLM
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见表3。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见表3。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。
附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len
准备数据（可选） 此小节为自定义数据集执行过程，如非自定义数据集此小节忽略。 本教程使用到的是LLamaFactory代码包自带数据集。您也可以自行准备数据集，目前支持alpaca格式和sharegpt格式的微调数据集；使用自定义数据集时，请更新代码目录下data/dataset_info
训练精度测试 流程图 训练精度测试流程图如下图所示： 图1 训练精度测试流程图 执行训练任务 进入test-benchmark目录执行训练命令，可以多次执行，按自己实际情况。 benchmark-cli train <cfgs_yaml_file> <model_name> <run_type>
训练精度测试 流程图 训练精度测试流程图如下图所示： 图1 训练精度测试流程图 执行训练任务 进入test-benchmark目录执行训练命令，可以多次执行，按自己实际情况。 benchmark-cli train <cfgs_yaml_file> <model_name> <run_type>
授权并激活远程桌面服务 前提条件 已提前申购企业许可号码，并获取相关信息。 已获取服务器管理员账号与密码。 操作步骤 打开服务器管理器，选择“所有服务器 >选择服务器名称”，鼠标右键选择“RD授权管理器”，打开RD授权管理器界面。 选择未激活的目标服务器，鼠标右键选择“激活服务器”。
在弹出的“基本信息”界面中查看桶的基本信息，如图1所示。 图1 桶的基本信息 表1 参数说明 参数 说明 桶名称 桶的名称 桶类型 对象存储 还是 并行文件系统。 区域 桶所在的区域。 存储类别 桶的存储类别，有标准存储、低频访问存储、归档存储三种类别。 桶版本号 桶的版本号。 存储用量 桶中存储的对象占用的存储空间。
STATEMENT_HISTORY 获得当前节点的执行语句的信息。查询系统表必须具有sysadmin权限。只可在系统库中查询到结果，用户库中无法查询。 对于此系统表查询有如下约束： 必须在postgres库内查询，其它库中不存数据。 此系统表受track_stmt_stat_level控制，默认为"OFF
时，agent仍处于安装中 last_scan_time Long 集群最近一次扫描时间戳 sys_vul_num Integer 集群下系统漏洞个数 app_vul_num Integer 集群下应用漏洞个数 emg_vul_num Integer 集群下应急漏洞个数 risk_assess_num
验证回调 编辑回调总流， 复制第一个节点的地址， 开启回调总流 进入钉钉应用Test，填入上述地址 保存 如果提示系统繁忙，就再点击一次保存 开启审批事件回调， 父主题： 基于我的流模板创建流
全部通过：选择的“审核者”全部同意后才能执行流水线。 单人通过：选择的“审核者”中任意一个同意后即可执行流水线。 设置“审核者”。 可以选择多个，系统自动加载该账号下所有子账号。 简易模板 自动添加“构建”模型，对代码库的源码进行编译构建。 选择“简易模板”。 单击“开始创建”。 添加构建任务。
SUMMARY_STAT_XACT_SYS_TABLES 显示集群内所有节点的Schema中系统表的事务状态统计信息（在CN节点使用，按表名对每个节点中表的事务状态统计信息汇总求和）。 表1 SUMMARY_STAT_XACT_SYS_TABLES字段 名称 类型 描述 schemaname
ADM_AUDIT_OBJECT显示数据库中所有对象的审计跟踪记录, 该视图同时存在于pg_catalog和sys schema下。默认只有系统管理员权限才可以访问,普通用户需要授权才可以访问。 表1 ADM_AUDIT_OBJECT字段 名称 类型 描述 os_username character
在“启用组件”页面，单击“启用”，等待组件完成重启。 在“指标图表”页面，单击“设置指标图表”。 勾选需要查看的系统指标，选择“统计方式”。 取消勾选不再需要查看的系统指标。 单击“已选对象”后的“清除”，可清除所有已选的系统指标。 单击“确定”。 父主题： 组件运维
使用密码进行登录，因此请勿选择此类镜像。 选择镜像后，是否“开启安全防护”根据需要自定义配置。 存储与备份 系统盘 最低要求系统磁盘50 GB。 根据需要选择符合要求的系统盘。 数据盘 最低要求数据磁盘100 GB。 单击“增加一块数据盘”，根据需要选择符合要求的数据盘。 开启备份
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
