检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数名称 说明 故障自动重启 服务实例在发生故障时是否自动重启。 开启该功能后，系统检测到在线服务异常，会自动重新部署在线服务。详细请参见设置在线服务故障自动重启。 自动重启功能可以有效提升服务的可用性和稳定性，减少因硬件故障导致的服务中断时间。适用于对服务连续性和稳定性要求较高的场景。
服务部署 自定义镜像模型部署为在线服务时出现异常 部署的在线服务状态为告警 服务启动失败 服务部署、启动、升级和修改时，拉取镜像失败如何处理？ 服务部署、启动、升级和修改时，镜像不断重启如何处理？ 服务部署、启动、升级和修改时，容器健康检查失败如何处理？ 服务部署、启动、升级和修改时，资源不足如何处理？
服务管理权限 表1 服务管理细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 部署模型服务 POST /v1/{project_id}/services modelarts:service:create - √ √ 查询模型服务列表 GET /v1/
ModelArts在线服务和批量服务有什么区别？ 在线服务 将模型部署为一个Web服务，您可以通过管理控制台或者API接口访问在线服务。 批量服务 批量服务可对批量数据进行推理，完成数据处理后自动停止。 批量服务一次性推理批量数据，处理完服务结束。在线服务提供API接口，供用户调用推理。
ModelArts在线服务的API接口组成规则是什么？ 模型部署成在线服务后，用户可以获取API接口用于访问推理。 API接口组成规则如下： https://域名/版本/infer/服务ID 示例如下： https://6ac81cdfac4f4a30be95xxxbb682.apig
“权限配置”：普通模式，选中弹性文件服务(SFSTurbo)下的"sfsturbo:shares:addShareNic"、"sfsturbo:shares:deleteShareNic"、"sfsturbo:shares:showShareNic"、"sfsturbo:shares:listShareNics"
ECS服务器挂载SFS Turbo存储 本小节介绍如何在ECS服务器挂载SFS Turbo存储，挂载完成后可在后续步骤中，将训练所需的数据通过ECS上传至SFS Turbo。 前提条件 已创建SFS Turbo，如果未创建，请参考创建文件系统。 数据及算法已经上传至OBS，如果未
Turbo文件系统。同一区域不同可用区之间文件系统与云服务器互通，但是跨可用区使用会导致数据访问延迟增加、访问抖动更严重，因此建议SFS Turbo与算力资源购买在同一可用区。 当创建文件系统后，您需要分别登录所有节点来挂载该文件系统，具体步骤请参考挂载NFS协议类型文件系统到云服务器（Linux）。建议挂载配
Turbo文件系统。同一区域不同可用区之间文件系统与云服务器互通，但是跨可用区使用会导致数据访问延迟增加、访问抖动更严重，因此建议SFS Turbo与算力资源购买在同一可用区。 当创建文件系统后，您需要分别登录所有节点来挂载该文件系统，具体步骤请参考挂载NFS协议类型文件系统到云服务器（Linux）。建议挂载配
Turbo文件系统。同一区域不同可用区之间文件系统与云服务器互通，但是跨可用区使用会导致数据访问延迟增加、访问抖动更严重，因此建议SFS Turbo与算力资源购买在同一可用区。 当创建文件系统后，您需要分别登录所有节点来挂载该文件系统，具体步骤请参考挂载NFS协议类型文件系统到云服务器（Linux）。建议挂载配
Turbo文件系统。同一区域不同可用区之间文件系统与云服务器互通，但是跨可用区使用会导致数据访问延迟增加、访问抖动更严重，因此建议SFS Turbo与算力资源购买在同一可用区。 当创建文件系统后，您需要分别登录所有节点来挂载该文件系统，具体步骤请参考挂载NFS协议类型文件系统到云服务器（Linux）。建议挂载配
服务部署失败，报错No Module named XXX 问题现象 服务部署失败，报错：No Module named XXX 原因分析 No Module named XXX，表示模型中没有导入对应依赖模块。 处理方法 依赖模块没有导入，需要您在模型推理代码中导入缺失依赖模块。
Structured Outputs 什么是Structured Outputs Structured Outputs是指在大模型请求中通过用户给定的指定格式信息（如json格式，sql格式），生成严格符合格式要求的相关文本。guided decoding相关特性可以支持用户给定格式的文本生成。
处理方法 服务部署失败后，进入服务详情界面，查看服务部署日志，明确服务部署失败原因（用户代码输出需要使用标准输入输出函数，否则输出的内容不会呈现到前端页面日志）。根据日志中提示的报错信息找到对应的代码进行定位。 如果模型启动失败根本没有日志，则考虑使用推理模型调试功能，具体参见：在开发环境中构建并调试推理镜像。
作，请参见在MaaS体验模型服务和调用MaaS部署的模型服务。 开通商用服务付费使用：在“预置服务 > 商用服务”页签，开通商用服务。操作指导请参见在ModelArts Studio（MaaS）预置服务中开通商用服务。 开通商用服务后，可以使用预置服务进行体验或调用等操作。具体操
=ray】，其他参数与正常启服务一致即可。具体参考本文单机场景下OpenAI服务的API接口启动在线推理服务方式。 推理请求测试 使用命令测试推理服务是否正常启动。服务启动命令中的参数设置请参见启动在线推理服务。 通过OpenAI服务API接口启动服务使用以下推理测试命令。${d
在线服务预测报错MR.0105 问题现象 部署为在线服务，服务处于运行中状态，预测时报错：{ "erno": "MR.0105", "msg": "Recognition failed","words_result": {}}。 图1 预测报错 原因分析 请在“在线服务”详情页面
迁移调优工具链 工具总览 精度调试：msprobe 精度调试：TensorBoard可视化 性能调优: MA-Advisor性能诊断 父主题： GPU业务迁移至昇腾训练推理
served_model_name：待评测服务支持openai，那么就有一个served_model_name。发送请求时，需要将它带上。 port：支持本地、线上服务进行评测。如果是本地服务，url一般是 localhost:8080，port是此处的 8080。如果是线上服务，则服务提供商会以openai规格提供url
self.linear_1 = nn.Linear(in_features=8, out_features=4) self.linear_2 = nn.Linear(in_features=4, out_features=2) def forward(self,
