检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数名称 说明 故障自动重启 服务实例在发生故障时是否自动重启。 开启该功能后,系统检测到在线服务异常,会自动重新部署在线服务。详细请参见设置在线服务故障自动重启。 自动重启功能可以有效提升服务的可用性和稳定性,减少因硬件故障导致的服务中断时间。适用于对服务连续性和稳定性要求较高的场景。
服务部署 自定义镜像模型部署为在线服务时出现异常 部署的在线服务状态为告警 服务启动失败 服务部署、启动、升级和修改时,拉取镜像失败如何处理? 服务部署、启动、升级和修改时,镜像不断重启如何处理? 服务部署、启动、升级和修改时,容器健康检查失败如何处理? 服务部署、启动、升级和修改时,资源不足如何处理?
服务管理权限 表1 服务管理细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 部署模型服务 POST /v1/{project_id}/services modelarts:service:create - √ √ 查询模型服务列表 GET /v1/
ModelArts在线服务和批量服务有什么区别? 在线服务 将模型部署为一个Web服务,您可以通过管理控制台或者API接口访问在线服务。 批量服务 批量服务可对批量数据进行推理,完成数据处理后自动停止。 批量服务一次性推理批量数据,处理完服务结束。在线服务提供API接口,供用户调用推理。
ModelArts在线服务的API接口组成规则是什么? 模型部署成在线服务后,用户可以获取API接口用于访问推理。 API接口组成规则如下: https://域名/版本/infer/服务ID 示例如下: https://6ac81cdfac4f4a30be95xxxbb682.apig
“权限配置”:普通模式,选中弹性文件服务(SFSTurbo)下的"sfsturbo:shares:addShareNic"、"sfsturbo:shares:deleteShareNic"、"sfsturbo:shares:showShareNic"、"sfsturbo:shares:listShareNics"
ECS服务器挂载SFS Turbo存储 本小节介绍如何在ECS服务器挂载SFS Turbo存储,挂载完成后可在后续步骤中,将训练所需的数据通过ECS上传至SFS Turbo。 前提条件 已创建SFS Turbo,如果未创建,请参考创建文件系统。 数据及算法已经上传至OBS,如果未
Turbo文件系统。同一区域不同可用区之间文件系统与云服务器互通,但是跨可用区使用会导致数据访问延迟增加、访问抖动更严重,因此建议SFS Turbo与算力资源购买在同一可用区。 当创建文件系统后,您需要分别登录所有节点来挂载该文件系统,具体步骤请参考挂载NFS协议类型文件系统到云服务器(Linux)。建议挂载配
Turbo文件系统。同一区域不同可用区之间文件系统与云服务器互通,但是跨可用区使用会导致数据访问延迟增加、访问抖动更严重,因此建议SFS Turbo与算力资源购买在同一可用区。 当创建文件系统后,您需要分别登录所有节点来挂载该文件系统,具体步骤请参考挂载NFS协议类型文件系统到云服务器(Linux)。建议挂载配
Turbo文件系统。同一区域不同可用区之间文件系统与云服务器互通,但是跨可用区使用会导致数据访问延迟增加、访问抖动更严重,因此建议SFS Turbo与算力资源购买在同一可用区。 当创建文件系统后,您需要分别登录所有节点来挂载该文件系统,具体步骤请参考挂载NFS协议类型文件系统到云服务器(Linux)。建议挂载配
Turbo文件系统。同一区域不同可用区之间文件系统与云服务器互通,但是跨可用区使用会导致数据访问延迟增加、访问抖动更严重,因此建议SFS Turbo与算力资源购买在同一可用区。 当创建文件系统后,您需要分别登录所有节点来挂载该文件系统,具体步骤请参考挂载NFS协议类型文件系统到云服务器(Linux)。建议挂载配
服务部署失败,报错No Module named XXX 问题现象 服务部署失败,报错:No Module named XXX 原因分析 No Module named XXX,表示模型中没有导入对应依赖模块。 处理方法 依赖模块没有导入,需要您在模型推理代码中导入缺失依赖模块。
Structured Outputs 什么是Structured Outputs Structured Outputs是指在大模型请求中通过用户给定的指定格式信息(如json格式,sql格式),生成严格符合格式要求的相关文本。guided decoding相关特性可以支持用户给定格式的文本生成。
处理方法 服务部署失败后,进入服务详情界面,查看服务部署日志,明确服务部署失败原因(用户代码输出需要使用标准输入输出函数,否则输出的内容不会呈现到前端页面日志)。根据日志中提示的报错信息找到对应的代码进行定位。 如果模型启动失败根本没有日志,则考虑使用推理模型调试功能,具体参见:在开发环境中构建并调试推理镜像。
作,请参见在MaaS体验模型服务和调用MaaS部署的模型服务。 开通商用服务付费使用:在“预置服务 > 商用服务”页签,开通商用服务。操作指导请参见在ModelArts Studio(MaaS)预置服务中开通商用服务。 开通商用服务后,可以使用预置服务进行体验或调用等操作。具体操
=ray】,其他参数与正常启服务一致即可。具体参考本文单机场景下OpenAI服务的API接口启动在线推理服务方式。 推理请求测试 使用命令测试推理服务是否正常启动。服务启动命令中的参数设置请参见启动在线推理服务。 通过OpenAI服务API接口启动服务使用以下推理测试命令。${d
在线服务预测报错MR.0105 问题现象 部署为在线服务,服务处于运行中状态,预测时报错:{ "erno": "MR.0105", "msg": "Recognition failed","words_result": {}}。 图1 预测报错 原因分析 请在“在线服务”详情页面
迁移调优工具链 工具总览 精度调试:msprobe 精度调试:TensorBoard可视化 性能调优: MA-Advisor性能诊断 父主题: GPU业务迁移至昇腾训练推理
served_model_name:待评测服务支持openai,那么就有一个served_model_name。发送请求时,需要将它带上。 port:支持本地、线上服务进行评测。如果是本地服务,url一般是 localhost:8080,port是此处的 8080。如果是线上服务,则服务提供商会以openai规格提供url
self.linear_1 = nn.Linear(in_features=8, out_features=4) self.linear_2 = nn.Linear(in_features=4, out_features=2) def forward(self,