检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
动态挂载OBS 功能介绍 在运行中的Notebook实例,支持将“OBS并行文件系统”挂载到实例中指定的文件目录,挂载后可以在容器中以文件系统操作方式完成OBS并行文件系统对象的读写。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API
data_type Integer 数据类型。可选值如下: 0:OBS桶(默认值) 1:GaussDB(DWS)服务 2:DLI服务 3:RDS服务 4:MRS服务 5:AI Gallery 6:推理服务 schema_maps Array of SchemaMap objects 表格数据对应的schema映射信息。
--per-channel:权重量化方法,若指定则为per-channel粒度量化,否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考Step3 启动推理服务,启动推理服务时添加如下命令。 -q smoothquant 或者 --quantization smoothquant 父主题:
/home/ma-user/Qwen1.5-72B-Chat-AWQ 参数说明: --model:模型路径。 Step3 启动AWQ量化服务 参考Step3 启动推理服务,在启动服务时添加如下命令。 --q awq 或者--quantization awq 父主题: 推理模型量化
3fn"。dtype类型不影响int8的scale系数的抽取和加载。 Step3 启动kv-cache-int8量化服务 参考Step3 启动推理服务,启动推理服务时添加如下命令。 --kv-cache-dtype int8 #只支持int8,表示kvint8量化 --quantization-param-path
3fn"。dtype类型不影响int8的scale系数的抽取和加载。 Step3 启动kv-cache-int8量化服务 参考Step3 启动推理服务,启动推理服务时添加如下命令。 --kv-cache-dtype int8 #只支持int8,表示kvint8量化 --quantization-param-path
如果指定则为per-channel粒度量化,否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考Step6 启动推理服务,启动推理服务时添加如下命令。 -q smoothquant 或者 --quantization smoothquant --dtype=float16
如果指定则为per-channel粒度量化,否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考Step3 启动推理服务,启动推理服务时添加如下命令。 -q smoothquant 或者 --quantization smoothquant --dtype=float16
致需要10+小时。 使用量化模型 使用量化模型需要在NPU的机器上运行。 启动vLLM前,请开启图模式(参考步骤六 启动推理服务中的配置环境变量),启动服务的命令和启动非量化模型一致。 父主题: 推理模型量化
以下案例中出现的费用价格仅供参考,实际价格请参见各服务价格详情。 示例:存储费用 假设用户于2023年4月1日10:00:00创建了一个数据集,数据是存储在OBS中的。按照存储费用结算,那么数据存储到OBS的费用计算如下: 存储费用:数据管理模块的数据通过对象存储服务(OBS)上传或导出,存储计费按
暂不支持Multi-Lora和投机推理场景。 multi-step参数设置 启动推理服务时,使用multi-step调度需要配置的参数如下表所示。 表1 开启multi-step调度参数配置 服务启动方式 配置项 取值类型 配置说明 offline num_scheduler_steps
vllm_path:构造vllm评测配置脚本名字,默认为vllm。 host:与起服务的host保持一致,比如起服务为0.0.0.0,host设置也为0.0.0.0。 service_port:服务端口,与启动服务时的端口保持,比如8080。 max_out_len:在运行类似mmlu、
vllm_path:构造vllm评测配置脚本名字,默认为vllm。 host:与起服务的host保持一致,比如起服务为0.0.0.0,host设置也为0.0.0.0。 service_port:服务端口,与启动服务时的端口保持,比如8080。 max_out_len:在运行类似mmlu、
vllm_path:构造vllm评测配置脚本名字,默认为vllm。 host:与起服务的host保持一致,比如起服务为0.0.0.0,host设置也为0.0.0.0。 service_port:服务端口,与启动服务时的端口保持,比如8080。 max_out_len:在运行类似mmlu、
/home/ma-user/Qwen1.5-72B-Chat-AWQ 参数说明: model:模型路径。 Step3 启动AWQ量化服务 参考Step3 启动推理服务,在启动服务时添加如下命令。 --q awq 或者--quantization awq 父主题: 推理模型量化
SampleLabels objects 视频在线服务推理结果。 service_id String 在线服务ID。 service_name String 在线服务名称。 service_resource String 用户绑定的在线服务资源ID。 total_sample_count
用户制作的自定义镜像,在本地执行docker run启动,无法正常运行; 用户自行安装了Jupyterlab服务导致冲突的,需要用户本地使用Jupyterlab命令罗列出相关的静态文件路径,删除并且卸载镜像中的Jupyterlab服务; 用户自己业务占用了开发环境官方的8888、8889端口的,需要用户修改自己的进程端口号;
data_type Integer 数据类型。可选值如下: 0:OBS桶(默认值) 1:GaussDB(DWS)服务 2:DLI服务 3:RDS服务 4:MRS服务 5:AI Gallery 6:推理服务 schema_maps Array of SchemaMap objects 表格数据对应的schema映射信息。
上传镜像到容器镜像服务 参考pull/push 镜像体验章节,将上一步build的镜像上传到容器镜像服务上。 Step5 使用CCE进行部署 在CCE上创建工作负载,创建工作负载时所需的yaml文件可参考在Lite Cluster资源池上使用Snt9B完成推理任务。 在CCE上创建服务。 父主题:
sh 资源池:在“专属资源池”页签选择GPU规格的专属资源池。 规格:选择所需GPU规格。 计算节点个数:选择需要的节点个数。 SFS Turbo:增加挂载配置,选择SFS名称,云上挂载路径为“/home/ma-user/work”。 为了和Notebook调试时代码路径一致,保