检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
vllm_single_node.yaml vllm_single_node.yaml文件用于单机部署推理服务。 用户可修改的字段详情见基于K8s Deployment单机部署推理服务中的步骤1：配置模型及镜像参数。 apiVersion: apps/v1 kind: Deployment
获取待上传的文件名 获取待上传的文件在服务器的绝对路径。 上传单个文件 在服务器执行如下命令，可以将服务器上的文件上传到AI Gallery仓库里面。 gallery-cli upload {repo_id} {文件名} 如下所示，表示将服务器上的文件“D:\workplace\
使用Gallery CLI配置工具下载文件 在服务器（ModelArts Lite云服务器或者是本地Windows/Linux等服务器）上登录Gallery CLI配置工具后，通过命令“gallery-cli download”可以从AI Gallery仓库下载资源。 命令说明 登录Gallery
Gallery中的模型部署为AI应用。 发布后的资产，可通过微调大师训练模型和在线推理服务部署模型，具体可参见使用AI Gallery微调大师训练模型、使用AI Gallery在线推理服务部署模型。 图1 AI Gallery使用流程 AI Gallery也支持管理从Model
当前版本只支持使用llm-compressor工具的W8A8量化和AWQ量化 Lora Adapters 参考vllm介绍使用 _ _ Structured Outputs 参考vllm介绍使用Structured Outputs --guided-decoding-backend=xgrammar _ Tool Calling
Llama-Factory 本章节主要描述训练所需的yaml配置文件、配置参数说明，用户可根据实际自行选择其需要的参数。 yaml文件配置 根据以下步骤修改yaml文件。 表1 模型训练脚本参数 参数 示例值 参数说明 backend_config.training.dataset
ModelArts服务软件开发工具包（ModelArts SDK）是对ModelArts服务提供的REST API进行的Python封装，以简化用户的开发工作。用户直接调用ModelArts SDK即可轻松管理数据集、启动AI训练以及生成模型并将其部署为在线服务。 ModelArts
在ModelArts中1个节点的专属资源池，能否部署多个服务？ 在ModelArts中公共资源池和专属资源池的区别是什么？ ModelArts中的作业为什么一直处于等待中？ ModelArts控制台为什么能看到创建失败被删除的专属资源池？ ModelArts训练专属资源池如何与SFS弹性文件系统配置对等连接？
参数解释：支持的存储类型。不同存储类型的差异，详见开发环境中如何选择存储。 取值范围：枚举类型，取值如下： SFS：弹性文件服务 EVS：云硬盘 OBS：对象存储服务 OBSFS：并行文件系统 EFS：弹性文件服务（SFS Turbo） mount_path String 参数解释：存储挂载至Notebook实例的目
systemctl status buildkitd 若buildkitd的服务运行状态如下图所示，则表示服务运行成功。使用Ctrl+C即可退出查看状态。 Step2 获取推理镜像 建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表1。 containerd
2763 训练作业日志中提示 “AttributeError: module '***' has no attribute '***'” 系统容器异常退出 父主题： 训练作业
MindSpeed-LLM 本章节主要描述训练所需的yaml配置文件、配置参数说明，用户可根据实际自行选择其需要的参数。 yaml文件参数配置 根据以下步骤修改yaml文件。 数据集选择：以下参数二选一，详解如下。 参数 示例值 参数说明 backend_config.preprocess_data
VeRL 本章节主要描述训练所需的yaml配置文件、配置参数说明，用户可根据实际自行选择其需要的参数。 yaml文件配置 根据以下步骤修改yaml文件，以下参数aaa.bbb为aaa区域的bbb参数值，如backend_config.data.train_files指backend_config区域中data
训练完成后，可先在开发环境Notebook中创建本地模型，在开发环境Notebook调试完成后再部署到推理服务上。 只支持使用ModelArts Notebook部署本地服务。 示例代码 在ModelArts Notebook平台，Session鉴权无需输入鉴权参数。其它平台的S
MindSpeed-RL 本章节主要描述训练所需的yaml配置文件、配置参数说明，用户可根据实际自行选择其需要的参数。 yaml文件参数配置 根据以下步骤修改yaml文件。 数据集选择：以下参数二选一，详解如下。 参数 示例值 参数说明 backend_config.preprocess_data
Reasoning Outputs与structured_outputs和tool_calling不兼容。 不支持请求参数stop和stop_token_ids，当前版本会导致思考过程被提前截断。 启动Reasoning Outputs功能 在启动服务时添加如下命令。 --enable-reasoning
ECS获取基础镜像 Step1 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后，单击“远程登录”，可使用华为CloudShell远程登录。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。 Step2 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织
当您在CCE、ECS或BMS服务控制台直接操作ModelArts Lite Lite Cluster资源时，可能会导致资源池部分功能异常。下表可帮助您定位异常出现的原因，风险操作包括但不限于以下内容。 高危操作风险等级说明： 高：对于可能直接导致业务失败、数据丢失、系统不能维护、系统资源耗尽的高危操作。
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后，单击“远程登录”，可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后，单击“远程登录”，可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
