检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加请求信息(思考时间) 为了更好的模拟用户的行为,需要模拟用户在不同操作之间等待的时间,例如,当用户收到来自服务器的数据时,可能要等待几秒查看数据,然后再做出响应,这种延迟,就称为思考时间。 操作步骤 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在
配置及验证优雅上下线能力 本章节以Nacos demo应用为例,通过Sermant Agent接入ServiceComb引擎,并在CCE集群上验证优雅上下线功能。 应用基于Sermant Agent会自动接入ServiceComb引擎,接入流程请参考CCE部署场景接入指南。 (可选)自定义优雅上下线配置
使用deleteall命令删除大量znode时偶现报错“Node does not exist” 问题 客户端连接非Leader实例,使用deleteall命令删除大量znode时,报错Node does not exist,但是stat命令能够获取到node状态。 回答 由于网
附录:大模型推理常见问题 问题1:在推理预测过程中遇到NPU out of memory 解决方法:调整推理服务启动时的显存利用率,将--gpu-memory-utilization的值调小。 问题2:在推理预测过程中遇到ValueError:User-specified max_model_len
预训练任务 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中,可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中,具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
LoRA微调训练 步骤1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中,可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中,具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
场景介绍 方案概览 本文档利用训练框架LlamaFactory+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的微调方案,包括sft全参和lora 微调。 本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。
准备工作 准备环境 准备代码 准备镜像环境 准备数据(可选) 父主题: 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导(6.3.907)
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Lite Server上的预训练和全量微调方案。训练框架使用的是ModelLink。 本方案目前仅适用于部分企业客户,完成本方案
准备镜像环境 Step1 检查环境 请参考DevServer资源开通,购买DevServer资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 父主题: 主流开源大模型基于DevServer适配PyTorch NPU推理指导(6.3.908)
导出Native Service包给其他用户使用 使用说明 当服务编排中,可以成功调用原生服务后,说明整个流程已经测通。此时,可以导出Native Service包给其他用户,其他用户可以在沙箱环境或者运行环境中安装该包,以便于使用该软件或进行定制。 操作步骤 当原生服务部署成功后,发布该原生服务包。
授权并激活远程桌面服务 前提条件 已提前申购企业许可号码,并获取相关信息。 已获取服务器管理员账号与密码。 操作步骤 使用管理员账号登录服务器。 选择“开始 > 管理工具 > 远程桌面服务 >RD授权管理器”,打开RD授权管理器界面。 选择未激活的目标服务器,鼠标右键选择“激活服务器”。
安装RemoteApp程序 V3.3.26.0及以上版本需要在应用发布服务器中安装RemoteAppProxy跳板工具。 前提条件 已获取服务器管理员账号与密码。 操作步骤 使用管理员账号登录服务器。 在服务器中,下载RemoteaProxyInstaller_xxx.zip(xxx为版本号)压缩包。
安装RemoteApp程序 V3.3.26.0及以上版本需要在应用发布服务器中安装RemoteAppProxy跳板工具。 前提条件 已获取服务器管理员账号与密码。 操作步骤 使用管理员账号登录服务器。 在服务器中,下载RemoteaProxyInstaller_xxx.zip(xxx为版本号)压缩包。
signature_defs: signature.append(signature_def) if len(signature) == 1: model_signature = signature[0]
ECS节点上已经安装虚拟机Agent,当前处于重启状态。 虚拟机Agent支持的操作系统说明 虚拟机Agent支持多个操作系统。您需要根据表2制作镜像,使用制作的镜像创建弹性云服务器和安装虚拟机Agent。 表2 虚拟机Agent支持的操作系统及版本 操作系统 版本 说明 EulerOS 2.2 64bit 2
原生服务旨在帮助您在AstroZero平台上或外部系统,调用已开发好的服务。为了完成调用,需要知道服务开放了哪些接口,以及这些接口的请求参数、返回参数,完成设计API后,可在服务编排中进行调用,也可将API再封装为自定义公共接口,供外部系统调用自定义公共接口。 部署Native Service
rExecutor进行开放。请参考官网资料对LinuxContainerExecutor进行安全配置。您可通过官网资料了解系统用户和用户组配置对应的文件系统权限。详情请参见: MRS 3.2.0之前版本:http://hadoop.apache.org/docs/r3.1.1/h