检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len
-r 1”命令延迟1分钟重启。 存储配置 开启存储配置开关，支持以下设置： 系统盘：显示系统盘的磁盘类型和大小。系统盘的磁盘类型支持本地盘和云硬盘（包括通用SSO、高IO和超高IO）。部分规格的系统盘仅支持本地盘。 容器盘：显示容器盘的存储类型、大小和数量。部分规格的容器盘存储
授权API至APP 功能介绍 将指定的API授权给APP。API的认证方式必须为APP认证，APP的创建用户必须是API所属服务的创建者，且请求用户对API所属服务必须有更新权限。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动
ModelArts平台是否支持多模型导入？ ModelArts平台从对象存储服务（OBS）中导入模型包适用于单模型场景。 如果有多模型复合场景，推荐使用自定义镜像方式，通过从容器镜像（SWR）中选择元模型的方式创建模型部署服务。 制作自定义镜像请参考从0-1制作自定义镜像并创建AI应用。 父主题：
附录：Standard大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified
附录：Standard大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified
附录：大模型推理standard常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified
如果不再使用ModelArts，需要停止/删除ModelArts中运行的服务；删除在OBS中存储的数据；删除在EVS中存储的数据。 清理存储数据 由于ModelArts的数据存储在OBS中，请前往OBS服务删除对应数据和目录，停止计费。 清理资源 请检查在ModelArts所创建
} ], "description" : "Hyperparameter search using the tree-structured Parzen estimator algorithm." }, { "name" : "anneal_search",
本章节介绍如何申请弹性公网IP并绑定到弹性云服务器。通过本文档，您可以实现弹性云服务器访问公网的目的。 使用华为云账号登录CCE管理控制台。 找到购买Cluster资源时选择的CCE集群，单击名称进入CCE集群详情页面，单击“节点管理”页签，在“节点”页签中单击需要登录的节点名称，跳转至弹性云服务器页面。 图1
图7 软硬件版本兼容性测试示例 表17 软硬件版本兼容性测试回显参数说明 参数 说明 System Information 系统信息 Architecture 架构 Type 标卡型号/芯片型号 Compatibility Check Result 兼容性检测结果 Package
ExtServiceIAM IAM服务异常 系统错误，请联系技术支持。 500 ModelArts.2954 ExtServiceWorkspace 工作空间服务异常 系统错误，请联系技术支持。 500 ModelArts.2955 ExtServiceAOM AOM服务异常 系统错误，请联系技术支持。
配额与限制 本节介绍ModelArts涉及的相关云服务的配额限制，帮助用户查看和管理自己的配额。 什么是配额 配额是在某一区域下最多可同时拥有的某种资源的数量。 华为云为防止资源滥用，对云服务每个区域的用户资源数量和容量做了配额限制。 如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。
登录云服务器查看工具包是否下载成功。 在云服务详情页面，单击节点页签的选择“前往控制台”跳转到云服务器控制台。 在云服务器控制台的节点基本信息页面，单击右上角“远程登录”选择登录方式远程登录云服务器节点。推荐使用CloudShell登录，直接页面单击“CloudShell登录”跳转
序列说明 基于vLLM（v0.6.3）部署推理服务时，不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明，如下面的表格所示。 以下值是在gpu-memory-utilization为0.9时测试得出，为服务部署所需的最小昇腾卡数及该卡数下推荐的最大ma
各模型支持的最小卡数和最大序列 基于vLLM（v0.6.3）部署推理服务时，不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明，如下面的表格所示。 以下值是在gpu-memory-utilization为0.9时测试得出，为服务部署所需的最小昇腾卡数及该卡数下推荐的最大ma
配置ModelArts委托权限 给用户配置ModelArts委托授权，允许ModelArts服务在运行时访问OBS等依赖服务。 使用华为云账号登录ModelArts管理控制台，在左侧导航栏单击“权限管理”，进入“权限管理”页面，单击“添加授权”。 在弹出的“添加授权”窗口中，选择：
modelarts:service:create：此策略项表示创建推理服务。 给子账号配置权限：限制使用公共资源池 使用主用户账号登录管理控制台，单击右上角用户名，在下拉框中选择“统一身份认证”，进入统一身份认证（IAM）服务。 在统一身份认证服务页面的左侧导航选择“权限管理 > 权限”，单击右上角
--backend：服务类型，支持tgi、vllm、mindspore、openai等。本文档使用的推理接口是vllm。 --host：服务IP地址，如127.0.0.1。 --port：服务端口，和推理服务端口8080。 --url：如果以vllm接口方式启动服务，API接口公网地
序列说明 基于vLLM（v0.6.3）部署推理服务时，不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明，如下面的表格所示。 以下值是在gpu-memory-utilization为0.9时测试得出，为服务部署所需的最小昇腾卡数及该卡数下推荐的最大ma
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
