检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
105012 插件request请求超时。 插件请求超时，检查插件服务。 105013 插件返回结果过大。 当前支持10M大小的返回，超过此大小会报错。 105014 插件request proxy error。 请检查插件服务是否有问题导致无法连接。 认证鉴权 110000 认证失败。
数据工程介绍 数据工程介绍 数据工程是ModelArts Studio大模型开发平台（下文简称“平台”）为用户提供的一站式数据处理与管理功能，旨在通过系统化的数据获取、加工、发布等过程，确保数据能够高效、准确地为大模型的训练提供支持，帮助用户高效管理和处理数据，提升数据质量和处理效率，为大模型开发提供坚实的数据基础。
"height": 426, "width": 640, "date_captured": "2013-11-21 01:34:01", "flickr_url": "",
……]”的方式来构造，若您的数据是同一个角色连续多次对话的“多轮问题”，可以将同一个角色的对话采用某个分隔符拼接到一个字符串中。例如： 原始对话示例： A：xxx号话务员为您服务！ A：先生您好，有什么可以帮助您的？ B：你好，是这样的 B：我家里上不了网了 B：网连不上 A：先生，您家的网络无法连接是吗 A：请问您尝试重新插拔网线吗？
使用推理SDK章节示例代码均以ak和sk保存在环境变量中来实现身份验证。 登录“我的凭证”页面，获取“IAM用户名”、“账号名”以及待使用区域的“项目ID”。调用服务时会用到这些信息，请提前保存。 由于盘古大模型当前部署在“西南-贵阳一”区域，需要获取与“西南-贵阳一”区域对应的project id。 图1
资源配置 计费模式 包年包月计费模式。 实例数 设置部署模型时所需的实例数。 订阅提醒 订阅提醒 该功能开启后，系统将在任务状态更新时，通过短信或邮件将提醒发送给用户。 基本信息 服务名称 设置部署任务的名称。 描述（选填） 设置部署任务的描述。 参数填写完成后，单击“立即部署”。 父主题：
资源配置 计费模式 包年包月计费模式。 实例数 设置部署模型时所需的实例数。 订阅提醒 订阅提醒 该功能开启后，系统将在任务状态更新时，通过短信或邮件将提醒发送给用户。 基本信息 服务名称 设置部署任务的名称。 描述（选填） 设置部署任务的描述。 参数填写完成后，单击“立即部署”。 父主题：
资源配置 计费模式 包年包月计费模式。 实例数 设置部署模型时所需的实例数。 订阅提醒 订阅提醒 该功能开启后，系统将在任务状态更新时，通过短信或邮件将提醒发送给用户。 基本信息 服务名称 设置部署任务的名称。 描述（选填） 设置部署任务的描述。 参数填写完成后，单击“立即部署”。 父主题：
资源配置 计费模式 包年包月计费模式。 实例数 设置部署模型时所需的实例数。 订阅提醒 订阅提醒 该功能开启后，系统将在任务状态更新时，通过短信或邮件将提醒发送给用户。 基本信息 服务名称 设置部署任务的名称。 描述（选填） 设置部署任务的描述。 参数填写完成后，单击“立即部署”。 父主题：
资源配置 计费模式 包年包月计费模式。 实例数 设置部署模型时所需的实例数。 订阅提醒 订阅提醒 该功能开启后，系统将在任务状态更新时，通过短信或邮件将提醒发送给用户。 基本信息 服务名称 设置部署任务的名称。 描述（选填） 设置部署任务的描述。 参数填写完成后，单击“立即部署”。 父主题：
模型数据集流程见表2。 表2 盘古预测大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 发布预测类数据集 流通预测类数据集 数据流通是将单个数据集发布为
够满足不同场景的需求。通过灵活的API接口，模型可以无缝集成到各类应用中。 模型调用：在模型部署后，用户可以通过模型调用功能快速访问模型的服务。平台提供了高效的API接口，确保用户能够方便地将模型嵌入到自己的应用中，实现智能对话、文本生成等功能。 父主题： 产品功能
support. 数据集中的内容不支持，请保证上传的数据格式与平台要求的一致。 get obs bucket folders error. 请检查OBS服务是否正常，是否可以访问OBS桶数据。 数据清洗 dataset is not online. 数据清洗使用的数据集未上线，请先执行上线操作。
模型安全：通过模型动态混淆技术，使模型在运行过程中保持混淆状态，有效防止结构信息和权重信息在被窃取后暴露。 系统安全：通过网络隔离、身份认证和鉴权、Web安全等技术保护大模型系统安全，增强自身防护能力，以抵御外部安全攻击。 父主题： 大模型概念类问题
全球中期天气要素预测：通过该模型可以对未来一段时间的天气进行预测。 全球中期降水预测：通过该模型可以对未来一段时间的降水情况进行预测。 模型服务 支持选择用于启动推理作业的模型。 中期天气要素模型包括1h分辨率、3h分辨率、6h分辨率、24小时分辨率模型，即以起报时刻开始，分别可以
"target":"你好，请问有什么可以帮助你的？"},{"context":"请介绍一下华为云的产品。","target":"华为云提供包括但不限于计算、存储、网络等产品服务。"}] 单个文件大小不超过50GB，文件数量最多1000个。。 多轮问答（人设） jsonl jsonl格式：数组格式，至少由一组问答对
表示完成全部训练数据集训练的次数。每个轮次都会遍历整个数据集一次。 是否使用自定义L1预训练模型 是否使用自定义预训练模型进行训练，模型为用户与服务共建，详情请联系客服。 热身轮次 表示在模型训练初期，逐步增加学习率到预设值的训练轮次，用于帮助模型在训练初期稳定收敛，避免大幅度的参数更新导致不稳定的学习过程。
荐模型。 例如，基模型算法池中有5个LightGBM（LGB）模型，且推荐模型数量设置为5，这意味着系统将在基模型池中的5个LightGBM模型之外，推荐5个不同的模型。最终，系统将使用10个模型进行训练，其中5个是LightGBM模型，另外5个是推荐的不同模型。 日期列名 日期
模型数据集流程见表2。 表2 盘古CV大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 加工图片、视频类数据集 清洗图片、视频类数据集 通过专用的清洗算
型数据集流程见表3。 表3 盘古NLP大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 加工文本类数据集 清洗文本类数据集 通过专用的清洗算子对数据进行
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
