检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
huawei-npu 2.1.53 Lite模式Server节点操作系统 HCE2.0（推荐）/Ubuntu22.04 Lite模式Cluster节点操作系统 HCE2.0（推荐）/EulerOS 2.10 Standard模式集群节点操作系统 HCE2.0（推荐）/EulerOS 2.10 NPU固件&驱动
查询推理服务标签 功能介绍 查询当前项目下的推理服务标签，默认查询所有工作空间，无权限不返回标签数据。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1
service_running_instance_count Integer 服务运行中实例数量。 service_instance_count Integer 服务实例数量。 req_count_per_min Long 服务分钟调用量，这里指当前时间上一分钟的服务调用总量。 表5 Monitor 参数 参数类型
昇腾云服务6.3.912版本说明 本文档主要介绍昇腾云服务6.3.912版本配套的镜像地址、软件包获取方式和支持的特性能力。 当前版本仅适用于华为公有云。 配套的基础镜像 芯片 镜像地址 获取方式 镜像软件说明 Snt9B PyTorch2.1.0： swr.cn-southwest-2
昇腾云服务6.3.910版本说明 本文档主要介绍昇腾云服务6.3.910版本配套的镜像地址、软件包获取方式和支持的特性能力。 当前版本仅适用于华为公有云。 配套的基础镜像 芯片 镜像地址 获取方式 镜像软件说明 配套关系 Snt9B 西南-贵阳一 PyTorch： swr.cn-southwest-2
昇腾云服务6.3.911版本说明 本文档主要介绍昇腾云服务6.3.911版本配套的镜像地址、软件包获取方式和支持的特性能力。 当前版本仅适用于华为公有云。 配套的基础镜像 芯片 镜像地址 获取方式 镜像软件说明 Snt9B PyTorch2.1.0： swr.cn-southwest-2
部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.908）
训练服务评测 介绍如何使用benchmark工具对训练性能（吞吐）、精度（loss、下游打分）开展评测对比，对比结果以excel文件呈现，方便用户验证发布模型的质量。评测包括以下两部分： 性能评测 精度评测 约束限制 训练服务评测目前仅适配了Lite Server环境部署的微调（SFT）训练阶段。
部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.910）
部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.911）
服务管理 通过patch操作对服务进行更新 查询服务监控信息 查询服务列表 部署服务 查询支持的服务部署规格 查询服务详情 更新服务配置 删除服务 更新模型服务的单个属性 查询专属资源池列表 查询服务事件日志 启动停止边缘节点服务实例 查询服务更新日志 添加资源标签 删除资源标签
在SFS服务控制台上创建文件系统，具体步骤请参考创建SFS Turbo文件系统。同一区域不同可用区之间文件系统与云服务器互通，因此保证SFS Turbo与Server服务器在同一区域即可。 当创建文件系统后，您需要该文件系统挂载至Server服务器上，具体步骤请参考挂载NFS协议类型文件系统到云服务器（Linux）。
本案例中的训练作业需要通过SFS Turbo挂载盘的形式创建，因此需要将上述数据集、代码、权重文件从OBS桶上传至SFS Turbo中。 用户需要创建开发环境Notebook，并绑定SFS Turbo，以便能够通过Notebook访问SFS Turbo服务。随后，通过Notebook将OBS中的数据上传至SFS
精度调试: msprobe 数据dump指导 advisor异常值分析 API预检 精度比对 梯度监控 父主题： 迁移调优工具链
服务管理 服务管理概述 在开发环境中部署本地服务进行调试 部署在线服务 查询服务详情 推理服务测试 查询服务列表 查询服务对象列表 更新服务配置 查询服务监控信息 查询服务日志 删除服务
在线服务鉴权 功能介绍 计费工作流在线服务鉴权。 接口约束 无 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/workflows/service/auth
启动推理服务 启动推理服务（大语言模型） 启动推理服务（多模态模型） 父主题： 主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导（6.5.902）
部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.909）
训练服务评测 介绍如何使用benchmark工具对训练性能（吞吐）、精度（loss、下游打分）开展评测对比，对比结果以excel文件呈现，方便用户验证发布模型的质量。评测包括以下两部分： 性能评测 精度评测 约束限制 训练服务评测目前仅适配了Lite Server环境部署的微调（SFT）训练阶段。
是一个livenessProbe的配置样例，通过调用vllm的health API探测服务状态，容器启动后600秒进行第一次探测，每10秒探测一次，单次探测超时时间10秒，连续失败6次认为服务异常。 apiVersion: apps/v1 kind: Deployment spec:
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
