检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬
创建公共接口 参考之前创建公共接口的步骤,创建“查询维修人员”脚本对应的公共接口。 操作步骤 在经典版应用开发页面的设计视图下,单击“服务”,进入公共接口创建页面。 图1 服务入口 单击“新建”,如下图所示。 图2 公共接口创建 创建“处理工单”、“判断下一步状态”脚本对应的公共接口,详细接口信息如表1所示。
准备工作 准备环境 准备代码 准备数据 准备镜像 父主题: 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.909)
准备镜像环境 Step1 检查环境 请参考DevServer资源开通,购买DevServer资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 使用llm-compressor工具量化 父主题: 主流开源大模型基于DevServer适配PyTorch NPU推理指导(6.3.909)
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的预训练和全量微调方案。训练框架使用的是ModelLink。 本方案目前仅适用于部分企业客户,完成
场景介绍 方案概览 本文档利用训练框架LlamaFactory+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的微调方案,包括SFT全参微调、LoRA微调、DPO训练方案。 DPO(Direct Preference
准备工作 准备环境 准备代码 准备镜像环境 准备数据(可选) 父主题: 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导(6.3.908)
场景介绍 方案概览 本文档利用训练框架LlamaFactory+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的不同训练阶段方案,包括指令监督微调、DPO偏好训练、RM奖励模型训练、PPO强化训练方案。 DPO(Direct
授权并激活远程桌面服务 前提条件 已提前申购企业许可号码,并获取相关信息。 已获取服务器管理员账号与密码。 操作步骤 使用管理员账号登录服务器。 选择“开始 > 管理工具 > 远程桌面服务 >RD授权管理器”,打开RD授权管理器界面。 选择未激活的目标服务器,鼠标右键选择“激活服务器”。
rExecutor进行开放。请参考官网资料对LinuxContainerExecutor进行安全配置。您可通过官网资料了解系统用户和用户组配置对应的文件系统权限。详情请参见: MRS 3.2.0之前版本:http://hadoop.apache.org/docs/r3.1.1/h
在BO开发页面,根据业务功能开发相关对象、服务编排、事件和脚本等。 图4 BO开发页面 您可以根据业务功能开发新的系统特性,也可以复用系统中已存在的类似特性。例如,需要复用系统中已存在的服务编排“queryProfiles”,可在新建服务编排时选中“使用已有的服务编排”,选中该服务编排,单击“添加”进行复用。
如何解决Roles with READONLY_USER或其他角色权限报错问题? 用户需要具有Tenant Administrator或VSS Administrator权限才能使用二进制成分分析相关业务,请分别联系具有Tenant Administrator或VSS Admin
账套批量授权给用户 ERP应用授权给用户后,可以将账套批量授权给多个用户。 使用企业管理员账号登录IMC管理后台。 单击业务管理-应用管理-单位应用管理,选择SparkPack 企业ERP-更多-字段授权,进入字段授权页面。 点击批量授权。 1、不要点击“删除数据源”,删除数据源
查询微服务实例详细信息 功能介绍 实例注册后可以根据service_id和instance_id获取该实例的详细信息。 URI GET /v4/{project_id}/registry/microservices/{service_id}/instances/{instance_id}
预训练超参配置 本章节介绍预训练前的超参配置,可以根据实际需要修改。 预训练脚本baichuan2.sh,存放在“6.3.904-Ascend/llm_train/AscendSpeed/scripts/baichuan2”目录下。训练前,可以根据实际需要修改超参配置。 表1 超参配置
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama/Llama2、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务vLLM和华为自研昇腾S
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬
附录:大模型推理常见问题 问题1:在推理预测过程中遇到NPU out of memory 解决方法:调整推理服务启动时的显存利用率,将--gpu-memory-utilization的值调小。 问题2:在推理预测过程中遇到ValueError:User-specified max_model_len