检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
opencompass.sh 参数说明: vllm_path：构造vllm评测配置脚本名字，默认为vllm。 service_port：服务端口，与启动服务时的端口保持，比如8080。 max_out_len：在运行类似mmlu、ceval等判别式回答时，max_out_len建议设置
5-72B-Chat-AWQ 参数说明： model：模型路径。 Step4 启动AWQ量化服务 参考部署推理服务，使用量化后权重部署AWQ量化服务。 注：Step3 创建服务启动脚本启动脚本中，服务启动命令需添加如下命令。 -q awq 或者--quantization awq 父主题：
vllm_path：构造vllm评测配置脚本名字，默认为vllm。 host：与起服务的host保持一致，比如起服务为0.0.0.0，host设置也为0.0.0.0。 service_port：服务端口，与启动服务时的端口保持，比如8080。 max_out_len：在运行类似mmlu、
vllm_path：构造vllm评测配置脚本名字，默认为vllm。 host：与起服务的host保持一致，比如起服务为0.0.0.0，host设置也为0.0.0.0。 service_port：服务端口，与启动服务时的端口保持，比如8080。 max_out_len：在运行类似mmlu、
开启量化模式 开启量化模式，按启动服务执行直到出现报错，如下图 export QUANT_MODE=1 图7 启动服务 停止服务，切换量化模式，开启服务。 export QUANT_MODE=2 开启高性能模式 sd模型开启高性能模式，按启动服务执行。 export CACHE_MODE=1
参数说明 --backend：服务类型，支持tgi、vllm、mindspore、openai等。上面命令中使用vllm举例。 --host ${docker_ip}：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址。 --port：推理服务端口8080。 --tok
lost token or incorrect token. Please log in again. Click here to return to the login page. 图1 报错图片示例 问题原因 2023年06月之前的Notebook为1.0版本，该版本已下线，需要使用新版Notebook。
Server资源开通，购买Lite Server资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主
否 Integer 数据类型。可选值如下： 0：OBS桶（默认值） 1：GaussDB(DWS)服务 2：DLI服务 3：RDS服务 4：MRS服务 5：AI Gallery 6：推理服务 schema_maps 否 Array of SchemaMap objects 表格数据对应的schema映射信息。
超节点是指昇腾Snt9b23资源。超节点维护是授权华为技术支持对故障节点通过人工修理、更换器件等方式恢复故障节点。节点重部署是授权华为运维系统通过自动更换节点的方式恢复故障节点，恢复后的节点除物理设备信息发生变化外，节点名称、节点ID、IP地址等信息与原节点保持一致。 约束限制
如果指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考Step3 启动推理服务，启动推理服务时添加如下命令。 -q smoothquant 或者 --quantization smoothquant --dtype=float16
如果指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考Step6 启动推理服务，启动推理服务时添加如下命令。 -q smoothquant 或者 --quantization smoothquant --dtype=float16
如果指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考Step3 启动推理服务，启动推理服务时添加如下命令。 -q smoothquant 或者 --quantization smoothquant --dtype=float16
如果指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考Step3 启动推理服务，启动推理服务时添加如下命令。 -q smoothquant 或者 --quantization smoothquant --dtype=float16
3fn"。dtype类型不影响int8的scale系数的抽取和加载。 Step3 启动kv-cache-int8量化服务 参考Step3 启动推理服务，启动推理服务时添加如下命令。 --kv-cache-dtype int8 #只支持int8，表示kvint8量化 --quantization-param-path
--per-channel：权重量化方法，如果指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考步骤六 启动推理服务，启动推理服务时添加如下命令。 -q smoothquant 或者 --quantization smoothquant --dtype=float16
暂不支持Multi-Lora和投机推理场景。 multi-step参数设置 启动推理服务时，使用multi-step调度需要配置的参数如下表所示。 表1 开启multi-step调度参数配置 服务启动方式 配置项 取值类型 配置说明 offline num_scheduler_steps
用户制作的自定义镜像，在本地执行docker run启动，无法正常运行； 用户自行安装了Jupyterlab服务导致冲突的，需要用户本地使用Jupyterlab命令罗列出相关的静态文件路径，删除并且卸载镜像中的Jupyterlab服务； 用户自己业务占用了开发环境官方的8888、8889端口的，需要用户修改自己的进程端口号；
上传镜像到容器镜像服务 参考pull/push 镜像体验章节，将上一步build的镜像上传到容器镜像服务上。 Step5 使用CCE进行部署 在CCE上创建工作负载，创建工作负载时所需的yaml文件可参考在Lite Cluster资源池上使用Snt9B完成推理任务。 在CCE上创建服务。 父主题：
data_type Integer 数据类型。可选值如下： 0：OBS桶（默认值） 1：GaussDB(DWS)服务 2：DLI服务 3：RDS服务 4：MRS服务 5：AI Gallery 6：推理服务 schema_maps Array of SchemaMap objects 表格数据对应的schema映射信息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
