检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取模型推理的Profiling数据 Profiling数据是程序运行过程中收集到的系统资源（如CPU、内存、磁盘 I/O等）的使用情况、程序的运行时间、函数的调用频率等数据，以发现系统性能瓶颈，优化程序代码和系统配置。 目前支持两种获取Profiling数据的方法，分别是通过LLM对象的
在“扩缩容”页面，根据业务需要增删模型服务的实例数，配置完成后，单击“确认”提交扩缩容任务。 在“扩缩容服务”对话框，单击“确定”。 在“我的服务”页签，单击服务名称，进入服务详情页，可以查看修改后的实例数是否生效。 父主题： 在ModelArts Studio（MaaS）管理我的服务
准备工作 准备资源 准备数据 准备权重 准备代码 将数据预热到SFS Turbo 准备镜像 父主题： Qwen-VL基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.912）
更新”。 取消开通MCP服务 对于已开通但不再需要的MCP服务，您可以取消开通该服务。如果发布的应用已添加该MCP，则无法直接取消开通该服务。 在“MCP广场”页面，单击目标服务卡片，查看服务的详情，然后在右上角单击“取消开通”。 在“取消开通MCP服务”对话框，按需选择以下操作。
批量服务输入/输出obs目录不存在或者权限不足 问题现象 输入输出目录不存在，报如下错误 "error_code": "ModelArts.3551", "error_msg": "OBS path xxxx does not exist." 当访问目录权限不足时，报如下错误 "error_code":
资源池 创建资源池失败 Standard资源池节点故障定位 资源池推理服务一直初始化中如何解决 专属资源池关联SFS Turbo显示异常
API兼容的在线推理服务（通过vllm中的api_server模块）。 run_vllm_single_node.sh主要针对单节点启动在线推理服务。在Cluster部署准备章节会使用到。 source /home/ma-user/.bashrc export ASCEND_TURBO_TASK_QUEUE=0
获取模型推理的Profiling数据 Profiling数据是程序运行过程中收集到的系统资源（如CPU、内存、磁盘 I/O等）的使用情况、程序的运行时间、函数的调用频率等数据，以发现系统性能瓶颈，优化程序代码和系统配置。 目前支持两种获取Profiling数据的方法，分别是通过LLM对象的
登录弹性文件服务SFS控制台，在SFS Turbo列表找到训练作业挂载的SFS Turbo，单击名称进入详情页。获取VPC信息、安全组信息和endpoint信息。 VPC信息：SFS Turbo详情页的“虚拟私有云”。 安全组信息：SFS Turbo详情页的“安全组”。 endpoint信息：SFS
拼装响应体等。 操作步骤 WebSocket在线服务开发操作步骤如下： 上传镜像至容器镜像服务 使用镜像创建模型 使用模型部署在线服务 WebSocket在线服务调用 上传镜像至容器镜像服务 将准备好的本地镜像上传到容器镜像服务（SWR）。 使用镜像创建模型 登录ModelArts管理控制台，进入“
获取模型推理的Profiling数据 Profiling数据是程序运行过程中收集到的系统资源（如CPU、内存、磁盘 I/O等）的使用情况、程序的运行时间、函数的调用频率等数据，以发现系统性能瓶颈，优化程序代码和系统配置。 目前支持两种获取Profiling数据的方法，分别是通过LLM对象的
Arts服务和模型告警规则的具体方法。 只有“运行中”的在线服务，支持对接CES监控。 前提条件： 已创建ModelArts在线服务。 已在云监控服务创建ModelArts监控服务。登录“云监控服务”控制台，在“自定义监控”页面，根据界面提示创建ModelArts监控服务。 设置
ModelArts在线服务预测时，如何提高预测速度？ 部署在线服务时，您可以选择性能更好的“实例规格”提高预测速度。例如使用GPU资源代替CPU资源。 部署在线服务时，您可以增加“实例数”。 如果实例数设置为1，表示后台的计算模式是单机模式；如果实例数设置大于1，表示后台的计算模
signature_defs: signature.append(signature_def) if len(signature) == 1: model_signature = signature[0]
基本配置 权限配置 创建网络 专属资源池VPC打通 ECS服务器挂载SFS Turbo存储 在ECS中创建ma-user和ma-group obsutil安装和配置 （可选）工作空间配置 父主题： 专属资源池训练
置大模型进行二次开发，用于生产商用。 ModelArts Lite-Server 面向云主机资源型用户，基于裸金属服务器进行封装，可以通过弹性公网IP直接访问操作服务器。 适用于已经自建AI开发平台，仅有算力需求的用户，提供高性价比的AI算力，并预装主流AI开发套件以及自研的加速插件。
PU资源部署在线服务时会收取少量资源费用，具体费用以界面信息为准。 参数配置完成后，单击“下一步”，确认规格参数后，单击“提交”启动在线服务的部署。 进入“部署上线 > 在线服务”页面，等待服务状态变为“运行中”时，表示服务部署成功。单击操作列的“预测”，进入服务详情页的“预测”页面。上传图片，预测结果。
Lite Server服务器创建时绑定的虚拟私有云，单击链接可跳转到虚拟私有云详情页。 裸金属服务器 Lite Server服务器为一台裸金属服务器，单击链接可跳转至对应裸金属服务器的详情页。 镜像 Lite Server服务器的镜像。 创建时间 Lite Server服务器的创建时间。
息。 部署服务并查看详情 在模型详情页面，单击右上角“部署>在线服务”，进入服务部署页面，模型和版本默认选中，选择合适的“实例规格”（例如CPU：2核 8GB），其他参数可保持默认值，单击“下一步”，跳转至服务列表页，当服务状态变为“运行中”，服务部署成功。 单击服务名称，进入服
同步Lite Server服务器状态 Lite Server为一台弹性裸金属服务器，当用户在云服务器页面修改了裸金属服务器状态后，您可通过“同步”功能，同步其状态至ModelArts。 登录ModelArts管理控制台。 在左侧导航栏中，选择“资源管理 > 轻量算力节点 (Lite
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
