检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
加工后的数据集可在“数据工程 > 数据管理 > 数据集 > 加工数据集”中查看。 父主题: 加工文本类数据集
加工后的数据集可在“数据工程 > 数据管理 > 数据集 > 加工数据集”中查看。 父主题: 加工数据集
表1 三方大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务或本地的数据导入至平台统一管理,用于后续加工或发布操作。 说明:执行导入操作时,数据集类型选择“其他”。
图4 选择加工模板 图5 选择数据加工算子 如需自定义加工算子,可以在“加工任务”页面单击右上角“管理加工算子”进入管理加工算子页面,之后单击右上角“创建自定义算子”来进行创建。具体创建流程详见自定义数据集加工算子。创建成功的自定义算子可在“加工算子选择界面”进行选择调用。
加工后的数据集可在“数据工程 > 数据管理 > 数据集 > 加工数据集”中查看。 父主题: 加工视频类数据集
在未经授权的情况,华为云承诺不触碰客户数据,客户的内容数据、身份和权限都需要客户自身看护,这包括确保云上内容的合法合规,使用安全的凭证(如强口令、多因子认证)并妥善管理,同时监控内容安全事件和账号异常行为并及时响应。
在左侧导航栏中选择“评测中心 > 评测集管理”,单击界面右上角“创建评测集”。 在“创建评测集”页面选择所需要的“模型类型”、“导入来源”,并选择数据集,数据集来源为数据工程发布的预测数据集,填写评测集名称,最后单击“立即创建”。 父主题: 评测预测大模型
图2 获取提示词模板 使用提示词后,系统会将选择的提示词自动填充到提示词的编辑框中,您可以基于自己的业务场景修改提示词。修改提示词时,你需要重点关注提示词中的横线部分。你需要根据编辑块的空白引导添加文本内容。
Agent开发平台为开发者提供了一套完整的工具和框架,用于创建、配置和管理Agent。Agent开发平台支持零代码/低代码混合开发。
图1 选择加工模板 图2 选择数据加工算子 如需自定义加工算子,可以在“加工任务”页面单击右上角“管理加工算子”进入管理加工算子页面,之后单击右上角“创建自定义算子”来进行创建。具体创建流程详见自定义数据集加工算子。创建成功的自定义算子可在“加工算子选择界面”进行选择调用。
多任务处理能力:无论是设置提醒、查询天气、管理日程安排,还是控制智能家居设备,人工智能助手都能轻松应对。 三、人工智能助手的应用场景 - 移动办公:无论是在通勤路上还是出差途中,人工智能助手都能帮助用户管理邮件、安排会议、查找资料,提高工作效率。
表2 盘古预测大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。
verify aksk signature fail:AK/SK认证失败。 x-auth-token not found:未找到x-auth-token参数。
当前,平台支持的推理参数包括:温度、核采样以及话题重复度控制,表1提供了典型推理参数的建议值和说明,供您参考: 表1 典型推理参数的建议和说明 推理参数 范围 建议值 说明 温度(temperature) 0~1 0.3 温度主要用于控制模型输出的随机性和创造性。
在左侧导航栏中选择“系统管理与统计 > 应用接入”,单击界面右上角“创建应用接入”。 在“应用配置”中,选择已部署好的大模型,单击“确定”。 在“应用接入”列表的“API Key”操作列中可获取API Key值。 如图4,为Token认证方式的请求Header参数填写示例。
表4 盘古多模态大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务或本地的数据导入至平台统一管理,用于后续加工或发布操作。
预处理数据 根据3.2.1-获取源数据中描述的方法,可以获得通用和行业的微调数据集,与业界的微调数据格式相同,需要将文本处理为JSONL格式,其中的每一行文本为一个JSON字符串,至少包含两个json key分别表示问题和回答,对应key为 context 和 target,system
通过这些功能,平台能够帮助用户科学管理和发布数据集,确保数据集质量符合大模型训练的需求,从而提高后续模型训练的效果。 数据发布意义 数据发布不仅仅是将数据转换为不同格式,还包括根据任务需求评估数据集效果,确保数据在规模、质量和内容上满足训练标准。
温度 控制模型推理N条数据的随机性,当temperature趋近于0时,选择最大概率的词;temperature越大,分布越平缓,选择更随机。 核采样 控制模型推理的多样性,取值越大,生成文本的多样性越强。
发布数据集可在“数据工程 > 数据管理 > 数据集 > 发布数据集”中查看。 父主题: 加工图片类数据集