检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练启动脚本说明和参数配置 本代码包中集成了不同模型（包括llama2、llama3、Qwen、Qwen1.5 ......）的训练脚本，并可通过统一的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成，则执行脚本，自动完成数据预处理和权重转换的过程。
在云监控平台查看在线服务性能指标 监控指标的命名空间 SYS.ModelArts ModelArts支持的监控指标 为使用户更好地掌握自己的ModelArts在线服务和对应模型负载的运行状态，云服务平台提供了云监控。您可以使用该服务监控您的ModelArts在线服务和对应模型负载
准备声音分类数据 使用ModelArts自动学习构建模型时，您需要将数据上传至对象存储服务（OBS）中。OBS桶需要与ModelArts在同一区域。 声音分类的数据要求 音频只支持16bit的WAV格式。支持WAV的所有子格式。 单条音频时长应大于1s，大小不能超过4MB。 适当
删除Standard专属资源池和网络 业务结束，资源长期闲置等情况下，如果资源池内无正在运行的任务且已完成数据备份和迁移，可删除专属资源池和网络，释放资源。 注意事项 在删除资源池前，请确保所有重要数据已备份，避免因误操作导致数据丢失。 如果资源池中存在正在运行的任务或作业，建议先停止或迁移这些任务，再进行释放操作。
场景介绍 方案概览 本文档介绍了在ModelArts的Standard上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程，利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。
附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 基于vLLM（v0.5.0）部署推理服务时，不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明，如下面的表格所示。 以下值是在gpu-memory-utilization为0.9时测试得出，为服
附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 基于vLLM（v0.6.0）部署推理服务时，不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明，如下面的表格所示。 以下值是在gpu-memory-utilization为0.9时测试得出，为服
附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 基于vLLM（v0.5.0）部署推理服务时，不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明，如下面的表格所示。 以下值是在gpu-memory-utilization为0.9时测试得出，为服
服务韧性 韧性特指安全韧性，即云服务受攻击后的韧性，不含可靠性、可用性。本章主要阐述ModelArts服务受入侵的检测响应能力、防抖动的能力、域名合理使用、内容安全检测等能力。 安全防护套件覆盖和使用堡垒机，增强入侵检测和防御能力 ModelArts服务部署主机层、应用层、网络层
场景介绍 方案概览 本文档介绍了在ModelArts的Standard上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程，利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。
训练启动脚本说明和参数配置 本代码包中集成了不同模型（包括llama2、llama3、Qwen、Qwen1.5 ......）的训练脚本，并可通过统一的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成，则执行脚本，自动完成数据预处理和权重转换的过程。
音频（声音分类、语音内容、语音分割） 文本（文本分类、命名实体、文本三元组） 视频 参数填写无误后，单击页面右下角“创建”。 标注作业创建完成后，系统自动跳转至数据标注管理页面，针对创建好的标注作业，您可以执行智能标注、发布、修改和删除等操作。 图片（图像分类、物体检测、图像分割） 图2
准备文本分类数据 使用ModelArts自动学习构建模型时，您需要将数据上传至对象存储服务（OBS）中。OBS桶需要与ModelArts在同一区域。 数据集要求 文件格式要求为txt或者csv，文件大小不能超过8MB。 以换行符作为分隔符，每行数据代表一个标注对象。 文本分类目前只支持中文。
在CES查看ModelArts Studio（MaaS）调用数据和监控指标 云监控服务CES提供云服务监控功能，支持查看MaaS预置服务-商用服务、预置服务-免费服务、我的服务在指定时间段内的调用数据和监控指标详情，包括RPM、TPM、请求失败率、输入Tokens数、输出Toke
训练启动脚本说明和参数配置 本代码包中集成了不同模型（包括llama2、llama3、Qwen、Qwen1.5 ......）的训练脚本，并可通过统一的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成，则执行脚本，自动完成数据预处理和权重转换的过程。
开关关闭（默认关闭）：表示不永久保存日志，则任务日志会在30天后会被清理。可以在任务详情页下载全部日志至本地。 开关打开：表示永久保存日志，此时必须配置“日志路径”，系统会将任务日志永久保存至指定的OBS路径。 事件通知 选择是否打开“事件通知”开关。 开关关闭（默认关闭）：表示不启用消息通知服务。 开关打
精度调优前准备工作 在定位精度问题之前，首先需要排除训练脚本及参数配置等差异的干扰。目前大部分精度无法对齐的问题都是由于模型超参数、Python三方库版本、模型源码等与标杆环境（GPU/CPU）设置的不一致导致，为了在定位过程中少走弯路，需要在定位前先对训练环境及代码做有效排查。
使用ModelArts Studio（MaaS）部署模型服务 在ModelArts Studio（MaaS）大模型即服务平台可以将模型广场的预置模型部署为我的服务，便于在“模型体验”或其他业务环境中可以调用。 当模型广场的模型无法满足您的个性化需求时，您可以基于模型广场的模型，创建个人专属模型，部署为我的服务。
安全配置最佳实践 场景说明 安全性是华为云与您的共同责任。华为云负责云服务自身的安全，提供安全的云；作为租户，您需要合理使用云服务提供的安全能力对数据进行保护，安全地使用云。 本文提供了ModelArts使用过程中的安全最佳实践，旨在为提高整体安全能力提供可操作的规范性指导。根据
在ModelArts Studio（MaaS）预置服务中创建自定义接入点 MaaS支持用户在预置服务中创建自定义接入点，通过自定义接入点名称进行模型调用（model参数设置），实现不同业务场景或模型版本的分流与精细化管理。 场景描述 在企业和开发者的AI应用开发与运营过程中，面临
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
