检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模型数据集流程见表2。 表2 盘古预测大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 导入数据至盘古平台 发布预测类数据集 发布预测类数据集 数据发布是将单个数据集发布为
评测图片+标注图片 选择好OBS路径后,填写“评测集名称”与“描述”,单击“立即创建”。 评测集任务创建后,返回“评测集管理”查看评测集任务。 cce评测服务启动配置参数说明如下: pangu.studio.evaluation.import.casesets.max.number: 所有评测任
模型名称 prompt 样例 Pangu-NLP-N1-32K-3.2.36 [unused9]系统:你生成综合质量(有用性,事实性,无害性)极好的回复。[unused10][unused9]系统:你是一个擅长于文章写作、文本分析、代码编写、数学运算、逻辑推理的AI助手,专注于针对用户
"target":"An"} 其中,system字段非必选,system如需配置,只可配置一个string,目前只支持单人设。 带thinking思维链的逻辑推理数据示例: {"system": "你是一个擅长于文章写作、文本分析、代码编写、数学运算、逻辑推理的AI助手,专注于针对用户的问题给出高质量解答。"
"office_data": args.get('office_data', 'default') } return ret 此处的示例未进行代码逻辑处理,但在注释处可以进行一些校验和处理。 此处代码为:获取输入参数,即插件的输出(args中的offi
Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 图1 我的空间 在左侧导航栏中选择“体验中心”,单击“科学计算”页签。 选择部署的服务。 完成页面参数配置。请参考表1 科学计算大模型体验中心参数说明。 表1 科学计算大模型体验中心参数说明 参数 说明 结果存储路径 用于存放模型推理结果的OBS路径。
运行结果中可以看到应用的执行开始时间、结束时间、运行时间等信息,还能看到输入和输出信息。对于性能的情况有个直观的认识。 调用详情 在触发应用时,调用链中展现具体事件的详细信息,包括触发的组件、事件耗时、事件的输入和输出信息等。便于开发者快速地追溯操作顺序并精准定位问题。 父主题: 调试与发布应用
单击操作列“评测报告”,在“评测报告”页面,可以查看评测任务的基本信息及评测概览。 其中,各评测指标说明详见三方大模型评测指标说明。 导出评测报告。 在“评测报告 > 服务结果分析”页面,单击“导出”,可选择需要导出的评测报告,单击“确定”。 单击右侧“导出记录”,可查看导出的任务ID,单击操作列“下载”,可将评测报告下载到本地。
模型安全:通过模型动态混淆技术,使模型在运行过程中保持混淆状态,有效防止结构信息和权重信息在被窃取后暴露。 系统安全:通过网络隔离、身份认证和鉴权、Web安全等技术保护大模型系统安全,增强自身防护能力,以抵御外部安全攻击。 父主题: 大模型概念类
、问答和任务执行提供可靠的知识支撑。开发者能够灵活配置知识来源、更新策略和检索方式,确保Agent在不同场景下快速调用精准信息,完成智能化服务。 使用限制 表1 知识库限制说明 类别 说明 最大知识库数量 最大数量不超过10个 知识库大小 单个文档上传限制最大128M 添加知识库
评估数据集 数据评估介绍 数据评估旨在通过对数据集进行系统的质量检查,评估其数据质量和代表性等多个维度,发现潜在问题并加以解决。通常来说,数据评估遵循以下方法进行: 质量评估: 数据集质量评估:可以通过抽样评估的方式,随机抽取数据集中的样本,使用人工或自动打分的方式,来对数据集的质量进行打分。
评估数据集 数据评估介绍 数据评估旨在通过对数据集进行系统的质量检查,评估其数据质量和代表性等多个维度,发现潜在问题并加以解决。通常来说,数据评估遵循以下方法进行: 质量评估: 数据集质量评估:可以通过抽样评估的方式,随机抽取数据集中的样本,使用人工或自动打分的方式,来对数据集的质量进行打分。
高频常见问题 大模型概念类问题 如何对盘古大模型的安全性展开评估和防护 训练智能客服系统大模型需考虑哪些方面 大模型微调训练类问题 如何调整训练参数,使盘古大模型效果最优 如何判断盘古大模型训练状态是否正常 为什么微调后的盘古大模型评估结果很好,但实际场景表现很差 数据量足够,为什么盘古大模型微调效果仍然不好
> 自定义”页面,单击右上角“创建自定义算子”。 在“创建自定义算子”页面,单击“下载样例”可查看算子配置文件与算子包的规格说明,使用OBS服务上传算子配置文件与算子包,设置空间可见性后,单击右下角“确定”,完成自定义算子的创建。 图2 创建自定义算子 创建成功的自定义算子可在加工
模型数据集流程见表2。 表2 盘古CV大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 导入数据至盘古平台 加工图片、视频类数据集 加工图片、视频类数据集 通过专用的加工算
盘古行业NLP大模型数据集构建流程。 表3 盘古行业NLP大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 导入数据至盘古平台 加工文本类数据集 加工文本类数据集 通过专用的加工算子对数据进行
单击操作列“评测报告”,在“评测报告”页面,可以查看评测任务的基本信息及评测概览。 其中,各评测指标说明详见NLP大模型评测指标说明。 导出评测报告。 在“评测报告 > 服务结果分析”页面,单击“导出”,可选择需要导出的评测报告,单击“确定”。 单击右侧“导出记录”,可查看导出的任务ID,单击操作列“下载”,可将评测报告下载到本地。
可绑定手动创建的插件或预置插件,当模型识别到需要调用工具来完成任务时,会根据用户的输入提取参数完成插件调用,并总结插件执行结果。 系统提示词 配置输入给大模型的系统提示词,用于指导模型更好地完成任务。配置提示词时,支持使用{{variable}}格式引用当前节点输入参数中已定义好的参数。最终替换后的内容会传递给模型。
在“创建加工任务”页面,选择需要加工的文本类数据集,单击“下一步”。 进入“加工步骤编排”页面,选择“数据蒸馏”算子,然后选择“模型”,本案例中选择的模型是“预置服务 > DeepSeek-R1-32K”。 加工步骤编排完成后,单击右下角“下一步”进入“任务配置界面”。 默认勾选“自动生成加工数据集”,
训练参数配置 训练参数 优化器参数 请参考表20进行配置。 正则化参数 请参考表20进行配置。 高级设置 高级设置 请参考表20进行配置。 训练资源&系统配置 资源配置 计费模式 计费模式 选择训练当前任务的计费模式。 训练单元 训练单元 选择训练模型所需的训练单元。 当前展示的完成本次训练所需要的最低训练单元要求。