检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
附录:大模型推理常见问题 问题1:在推理预测过程中遇到NPU out of memory。 解决方法:调整推理服务启动时的显存利用率,将--gpu-memory-utilization的值调小。 问题2:在推理预测过程中遇到ValueError:User-specified max_model_len
附录:大模型推理常见问题 问题1:在推理预测过程中遇到NPU out of memory。 解决方法:调整推理服务启动时的显存利用率,将--gpu-memory-utilization的值调小。 问题2:在推理预测过程中遇到ValueError:User-specified max_model_len
推理专属预置镜像列表 ModelArts的推理平台提供了一系列的基础镜像,用户可以基于这些基础镜像构建自定义镜像,用于部署推理服务。 X86架构(CPU/GPU)的推理基础镜像 表1 TensorFlow AI引擎版本 支持的运行环境 镜像名称 URI 2.1.0 CPU GPU(cuda10
附录:大模型推理常见问题 问题1:在推理预测过程中遇到NPU out of memory。 解决方法:调整推理服务启动时的显存利用率,将--gpu-memory-utilization的值调小。 问题2:在推理预测过程中遇到ValueError:User-specified max_model_len
附录:大模型推理常见问题 问题1:在推理预测过程中遇到NPU out of memory。 解决方法:调整推理服务启动时的显存利用率,将--gpu-memory-utilization的值调小。 问题2:在推理预测过程中遇到ValueError:User-specified max_model_len
附录:Standard大模型推理常见问题 问题1:在推理预测过程中遇到NPU out of memory。 解决方法:调整推理服务启动时的显存利用率,将--gpu-memory-utilization的值调小。 问题2:在推理预测过程中遇到ValueError:User-specified
参数解释:网络对端连接的状态列表。 约束限制:不涉及。 取值范围:不涉及。 默认取值:不涉及。 sfsTurboStatus Array of sfsTurboStatus objects 参数解释:网络连接SFS Turbo的状态列表。 约束限制:不涉及。 取值范围:不涉及。 默认取值:不涉及。 表11
参数解释:网络对端连接的状态列表。 约束限制:不涉及。 取值范围:不涉及。 默认取值:不涉及。 sfsTurboStatus Array of sfsTurboStatus objects 参数解释:网络连接SFS Turbo的状态列表。 约束限制:不涉及。 取值范围:不涉及。 默认取值:不涉及。 表11
ModelArts平台是否支持多模型导入? ModelArts平台从对象存储服务(OBS)中导入模型包适用于单模型场景。 如果有多模型复合场景,推荐使用自定义镜像方式,通过从容器镜像(SWR)中选择元模型的方式创建模型部署服务。 制作自定义镜像请参考从0-1制作自定义镜像并创建AI应用。 父主题:
"conversation_id": 1, "meta_instruction": "", "num_turns": 3, "chat": { "turn_1": { "Human": "<|Human|>: 如何保障工作中遵循正确的安全准则?<eoh>\n"
更新API授权 功能介绍 更新API的授权关系。API的认证方式必须为APP认证,APP的创建用户必须是API所属服务的创建者,且请求用户对API所属服务必须有更新权限。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成S
节省您重复配置服务器的时间。 表4 存储配置参数说明 参数名称 说明 节点系统盘类型 系统盘和规格有关,选择支持挂载的实例规格才会显示此参数。 节点系统盘用于存储服务器的操作系统,创建Lite Server时自带系统盘,且系统盘自动初始化。 此处支持选择“节点系统盘类型”,并设置
<训练引擎名称_版本号>-[cpu | <cuda_版本号 | cann_版本号 >]-<py_版本号>-<操作系统名称_版本号>-< x86_64 | aarch64> 表4 训练作业支持的AI引擎 工作环境 系统架构 系统版本 AI引擎与版本 支持的cuda或Ascend版本 TensorFlow x86_64
人开发的ModelArts模型或HiLens技能分享发布至AI Gallery中,共享给其他用户使用。其中,HiLens技能为HiLens服务的技能市场功能,详细指导请参见《HiLens用户指南》。 “资产集市 > Workflow”:共享了Workflow。 AI Galler
"conversation_id": 1, "meta_instruction": "", "num_turns": 3, "chat": { "turn_1": { "Human": "<|Human|>: 如何保障工作中遵循正确的安全准则?<eoh>\n"
0 \ --memory_efficient \ --eval 启动剪枝模型推理服务 使用剪枝特性时,启动推理服务时的model_path请使用剪枝处理后的模型。具体参考启动推理服务。 父主题: 推理关键特性使用
0 \ --memory_efficient \ --eval 启动剪枝模型推理服务 使用剪枝特性时,启动推理服务时的model_path请使用剪枝处理后的模型。具体参考启动推理服务。 父主题: 推理关键特性使用
参数解释:网络对端连接的状态列表。 约束限制:不涉及。 取值范围:不涉及。 默认取值:不涉及。 sfsTurboStatus Array of sfsTurboStatus objects 参数解释:网络连接SFS Turbo的状态列表。 约束限制:不涉及。 取值范围:不涉及。 默认取值:不涉及。 表14
在CCE、AOM中查看指标并配置告警 AOM服务可监控推理层中的CCE、Lite Cluster指标,同时支持设置告警规则,用户可自定义监控目标与通知策略。 表1 在CCE、AOM中查看指标并配置告警 组件 关键指标 告警阈值 参考文档 CCE Pod频繁重启 / 通过告警中心一键配置告警
0.0及以后的版本的MCU、驱动和固件,预置操作系统已经默认安装,如果是自定义操作系统,也需确保该软件正常安装。 诊断任务依赖开发套件包Ascend-docker-runtime,预置操作系统已经默认安装该软件,如果是自定义操作系统,也需确保该软件正常安装。 操作步骤 登录ModelArts管理控制台。