检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模型使用CV2包部署在线服务报错 问题现象 使用CV2包部署在线服务报错。 原因分析 使用OBS导入元模型，会用到服务侧的标准镜像，标准镜像里面没有CV2依赖的so的内容。所以ModelArts不支持从对象存储服务（OBS）导入CV2模型包。 处理方法 需要您把CV2包制作为自定
镜像。 服务运维阶段，先利用镜像构建模型，接着部署模型为在线服务，然后可在云监控服务（CES）中获得ModelArts推理在线服务的监控数据，最后可配置告警规则实现实时告警通知。 业务运行阶段，先将业务系统对接在线服务请求，然后进行业务逻辑处理和监控设置。 图1 推理服务的端到端运维流程图
在开发环境中部署本地服务进行调试 可以通过部署本地服务来进行调试，即在导入模型或模型调试后，在开发环境Notebook中部署Predictor进行本地推理。 只支持使用ModelArts Notebook部署本地服务。 开发环境本地服务Predictor和在线服务Predictor说明
通过Token认证的方式访问在线服务 如果在线服务的状态处于“运行中”，则表示在线服务已部署成功，部署成功的在线服务，将为用户提供一个可调用的API，此API为标准Restful API。在集成至生产环境之前，需要对此API进行调测，您可以使用以下方式向在线服务发起预测请求： 方式一：使
process the new request 原因分析 该报错是因为发送预测请求后，服务出现停止后又启动的情况。 处理方法 需要您检查服务使用的镜像，确定服务停止的原因，修复问题。重新创建模型部署服务。 父主题： 服务部署
写，SFS Turbo方式“超参”框写入】 backend_config.training.data-path /home/ma-user/ws/xxx 已处理好数据路径目录，如有处理完成数据可设置此参数【Standard场景OBS方式“输入”框填写，SFS Turbo方式“超参”框写入】
新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径 /home/ma-user/work/data 存储位置：输入用户的“子目录挂载”路径。如果默认没有填写，则忽略。 图3 选择SFS Turbo SFS Turbo不能直接挂载到容器的工作路径
fs_turbo路径下。 图4 SFS Turbo基本信息 ModelArts网络关联SFS Turbo OBS-SFS Turbo联动方案涉及VPC、SFS Turbo HPC型文件系统、OBS对象存储服务和ModelArts资源池。如果要使用训练作业挂载SFS Turbo功能，则需要配置ModelArts和SFS
Turbo，然后在训练作业中挂载SFS Turbo到容器对应ckpt目录，实现分布式读取训练数据文件。 创建SFS Turbo文件系统前提条件： 创建SFS Turbo文件系统前，确认已有可用的VPC。 需要由IAM用户设置SFS Turbo FullAccess权限，用于授权ModelArts云服务使用SFS
Turbo，然后在训练作业中挂载SFS Turbo到容器对应ckpt目录，实现分布式读取训练数据文件。 创建SFS Turbo文件系统前提条件： 创建SFS Turbo文件系统前，确认已有可用的VPC。 需要由IAM用户设置SFS Turbo FullAccess权限，用于授权ModelArts云服务使用SFS
fs_turbo路径下。 图4 SFS Turbo基本信息 ModelArts网络关联SFS Turbo OBS-SFS Turbo联动方案涉及VPC、SFS Turbo HPC型文件系统、OBS对象存储服务和ModelArts资源池。如果要使用训练作业挂载SFS Turbo功能，则需要配置ModelArts和SFS
集成在线服务API至生产环境中应用 针对已完成调测的API，可以将在线服务API集成至生产环境中应用。 前提条件 确保在线服务一直处于“运行中”状态，否则会导致生产环境应用不可用。 集成方式 ModelArts在线服务提供的API是一个标准的Restful API，可使用HTTP
fs_turbo路径下。 图4 SFS Turbo基本信息 ModelArts网络关联SFS Turbo OBS-SFS Turbo联动方案涉及VPC、SFS Turbo HPC型文件系统、OBS对象存储服务和ModelArts资源池。如果要使用训练作业挂载SFS Turbo功能，则需要配置ModelArts和SFS
完成资源配置后，单击“继续运行”，服务部署节点将继续运行，直至状态变为“运行成功”，至此，已将模型部署为在线服务。 服务测试 服务部署节点运行成功后，单击“实例详情”可跳转至对应的在线服务详情页面。单击“预测”页签，进行服务测试。 图1 服务测试 下面的测试，是您在自动学习图像
在ModelArts Studio（MaaS）管理我的服务 在ModelArts Studio（MaaS）扩缩容模型服务实例数 在ModelArts Studio（MaaS）升级模型服务
上传数据和算法至SFS（首次使用时需要） 前提条件 ECS服务器已挂载SFS，请参考ECS服务器挂载SFS Turbo存储。 在ECS中已经创建ma-user和ma-group用户，请参考在ECS中创建ma-user和ma-group。 已经安装obsutil，请参考下载和安装obsutil。
启动停止边缘节点服务实例 功能介绍 启动停止边缘节点服务实例。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI PUT /v1/{project_id}/servic
fs_turbo路径下。 图4 SFS Turbo基本信息 ModelArts网络关联SFS Turbo OBS-SFS Turbo联动方案涉及VPC、SFS Turbo HPC型文件系统、OBS对象存储服务和ModelArts资源池。如果要使用训练作业挂载SFS Turbo功能，则需要配置ModelArts和SFS
【OBS方式“输入”框填写，SFS Turbo方式“超参”框写入】 processed_data_dir /home/ma-user/ws/xxx 已处理好数据路径目录，如有处理完成数据可设置此参数【OBS方式“输入”框填写，SFS Turbo方式“超参”框写入】 权重文件、输出目录及其他重要参数设置，详解如下：
场景描述 本案例介绍如何在Snt9B环境中利用Deployment机制部署在线推理服务。首先创建一个Pod以承载服务，随后登录至该Pod容器内部署在线服务，并最终通过新建一个终端作为客户端来访问并测试该在线服务的功能。 图1 任务示意图 操作步骤 拉取镜像。本测试镜像为bert_pre
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
