检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行“安装/卸载Docker”步骤，部署进程被第三方杀毒软件拦截问题 问题现象 部署主机相关的应用时，应用部署失败，错误信息中包含如下内容： 错误信息：“"msg": "Unexpected failure during module execution."”。 原因分析 部署应
执行“执行Docker命令”步骤，日志提示“环境下没有主机”怎样处理？ 问题现象 日志信息提示获取主机失败，环境下没有主机。 原因分析 环境里面没有主机导致的错误。 处理方法 选择目标应用，单击图标，单击“编辑”，进入“部署步骤”页面。 单击“环境管理”，切换到“环境管理”页面。
执行“执行PowerShell脚本”步骤，日志提示“环境下没有主机”怎样处理？ 问题现象 日志信息提示获取主机失败，环境下没有主机。 原因分析 环境里面没有主机导致的错误。 处理方法 选择目标应用，单击图标，单击“编辑”，进入“部署步骤”页面。 单击“环境管理”，切换到“环境管理”页面。
更新Overlay WAN侧BGP路由过滤策略 典型场景 BGP路由北向API。 接口功能 批量更新BGP路由。 接口约束 该接口支持租户视图或msp代维视图下，角色为“Open Api Operator”的用户访问，必须在用户会话建立后使用。 调用方法 PUT URI /con
查询Overlay WAN侧BGP路由过滤策略 典型场景 BGP路由北向API。 接口功能 查询BGP路由。 接口约束 该接口支持租户视图或msp代维视图下，角色为“Open Api Operator”的用户访问，必须在用户会话建立后使用。 调用方法 GET URI /contr
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见表3。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。
推理服务精度评测 本章节介绍了2种精度测评方式，分别为Lm-eval工具和MME工具。 lm-eval工具适用于语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等，该工具为离线测评
使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表3。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ
附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len
版本说明和要求 资源规格要求 本文档中的模型运行环境是ModelArts Lite的弹性节点Server。推荐使用“西南-贵阳一”Region上的资源和Ascend Snt9B。 请参考Lite Server资源开通，购买Lite Server资源，并确保机器已开通，密码已获取，
训练精度测试 约束限制 目前仅支持以下模型： qwen2.5-7b qwen2-7b qwen1.5-7b llama3.2-3b llama3.1-8b llama3-8b llama2-7b yi-6b 流程图 训练精度测试流程图如下图所示。 图1 训练精度测试流程图 执行训练任务
准备数据（可选） 此小节为自定义数据集执行过程，如非自定义数据集此小节忽略。 本教程使用到的是LLamaFactory代码包自带数据集。您也可以自行准备数据集，目前支持alpaca格式和sharegpt格式的微调数据集；使用自定义数据集时，请更新代码目录下data/dataset_info
准备数据（可选） 此小节为自定义数据集执行过程，如非自定义数据集此小节忽略。 本教程使用到的是LLamaFactory代码包自带数据集。您也可以自行准备数据集，目前支持alpaca格式和sharegpt格式的微调数据集；使用自定义数据集时，请更新代码目录下data/dataset_info
准备数据（可选） 此小节为自定义数据集执行过程，如非自定义数据集此小节忽略。 本教程使用到的是LLamaFactory代码包自带数据集。您也可以自行准备数据集，目前支持alpaca格式和sharegpt格式的微调数据集；使用自定义数据集时，请更新dataset_info.json文件；请务必在dataset_info
训练精度测试 约束限制 目前仅支持以下模型： qwen2.5-7b qwen2-7b qwen1.5-7b llama3.2-3b llama3.1-8b llama3-8b llama2-7b yi-6b 流程图 训练精度测试流程图如下图所示。 图1 训练精度测试流程图 执行训练任务
议的要求。 设置特定路由的策略值：修改通过路由策略过滤的路由的策略值，满足自身需要。 路由策略优势 通过路由策略，可以控制路由表规模，节约系统资源。 通过控制路由的接收和发送，提高网络安全性。 通过修改路由策略值，对网络数据流量进行合理规划，提高网络性能。 路由策略功能说明 路由
用户在OA系统新建业务报价单。 批准者在OA系统对业务报价单进行审批。 流程审批结束后业务报价中的物料代码、业务伙伴代码、价格、币种、可用起始日期、可用结束日期、价格清单编号，同步给SAP的特殊价格中。 业务报价 OA->SparkPack 企业ERP 采购核价 用户在OA系统新建采购核价单。
GLOBAL_STATIO_SYS_INDEXES GLOBAL_STATIO_SYS_INDEXES视图显示各节点的命名空间中所有系统表索引的I/O状态信息，如表1所示。 表1 GLOBAL_STATIO_SYS_INDEXES字段 名称 类型 描述 node_name name
参数 说明 system_time_zone 数据库时区。 这里它指向 'SYSTEM'，也就是数据库服务器的系统时间（'system_time_zone'）。而这个系统时间在这里指向 CST，所以，最终数据库时区才是 CST。 time_zone 数据库所在服务器的时区，服务器是台主机。
rs\yang****\）下的.m2目录中setting.xml（用户配置）或Maven安装目录下的conf目录中setting.xml（系统全局配置）里配置代理来实现。 找到setting.xml文件中的标签对，在其内配置代理信息，参考如下样例。 <proxies>
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
