检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数解释: 时序任务的历史窗口大小,该参数主要服务于支持多尺度窗口的模型的推理。 约束限制: 填写时需要保证输入序列长度大于等于该值。 取值范围: min:32。 max:与训练模型的历史窗口大小一致,最大不超过512。 默认取值: -1,-1为当前服务模型的默认大小。 响应参数 状态码:
json解析报错 服务端返回的数据格式不符合json格式,导致sdk侧解析json数据报错。 服务端返回的json数据不符合json反序列化的规则,和sdk定义的数据结构不一致,导致反序列化失败。 sdk json数据解析问题。 建议排查服务端返回的数据是否和服务SDK设计的结构、字段一致。
审计 云审计服务(Cloud Trace Service,CTS)是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后,CTS可记录用户使用盘古的管理事件和数据事件用于审计。
保存并发布画布。 图6 发布画布 在当前页面单击右上角“画布部署”,执行部署画布操作。 部署成功后,单击“画布服务”可获取调用所需的访问地址。 图7 部署成功 根据服务详情中的访问地址,传入画布所需参数,调用画布,得到画布执行结果。 图8 调用画布 父主题: 工业应用编排实践
int(input1) return { # 注意输出参数中定义res变量 'res': input1 * input1 } except Exception as e: return { # 注意输出参数中定义res变量
“体验中心”功能支持用户直接调用已部署的预置服务,使用步骤如下: 登录ModelArts Studio大模型开发平台,进入所需空间。 单击左侧“体验中心”,进入“文本对话”页签,选择服务,在输入框输入问题,模型将基于问题进行回答。 图1 使用预置服务进行文本对话 可以尝试修改参数并查看模
置。 图2 画布调试 部署完成后,单击画布右上角“画布服务”按钮,进入画布服务列表页面。 图3 画布服务列表 单击服务名称跳转进入服务详情页面,可查看当前服务详情信息。 通过服务列表页面可以删除画布服务。 图4 删除画布服务 父主题: 编排工业应用
如何利用提示词提高大模型在难度较高推理任务中的准确率 可以通过思维链的方式提高大模型在复杂推理任务中的准确率。 思维链是一种通过分步骤推理来提升大模型在复杂任务中表现的方法。通过引导模型思考问题的过程,可以使其在推理任务中得到更高的准确性,尤其是在涉及多步推理和复杂逻辑关系的任务中。
在特定任务上具有更高的准确性:微调后的模型在具体任务中表现更优。相较于预训练阶段的通用能力,微调能使模型更好地解决细分任务的需求。 在一个客户服务问答系统中,可以用特定领域(如电商、保险)的对话数据对预训练模型进行微调,使其更好地理解和回答与该领域相关的问题。 此外,针对微调训练任务,平台提供了两种微调方式:
参数的业务类型。非必填参数,默认为空,支持模型和模型服务两种类型。 模型:用于在静态应用界通过“选择模型”,自动填充所选模型的obs地址; 模型服务:用于在静态应用界通过“选择服务”,自动填充所选模型服务的访问地址,实现组件服务调用所选模型服务。 父参数 父参数通常用于配置复杂的结构体,
订单的购买周期计费,适用于可预估资源使用周期的场景。 按需计费模式:按需付费是后付费方式,可以随时开通/关闭对应资源,支持秒级计费,系统会根据云服务器的实际使用情况每小时出账单,并从账户余额里扣款。 父主题: 计费FAQ
参数的业务类型。非必填参数,默认为空,支持模型和模型服务两种类型。 模型:用于在静态应用界通过“选择模型”,自动填充所选模型的obs地址; 模型服务:用于在静态应用界通过“选择服务”,自动填充所选模型服务的访问地址,实现组件服务调用所选模型服务。 父参数 父参数通常用于配置复杂的结构体,
jsonl、csv jsonl盘古格式-非思维链:数据由问答对构成,context、target分别表示问题、答案,具体格式示例如下: {"context": ["你好,请介绍自己"], "target": "我是盘古大模型"} jsonl盘古格式-思维链:数据由问答对构成,context、
若调用部署后的模型,可在左侧导航栏中选择“模型开发 > 模型部署”,在“我的服务”页签,模型部署列表单击模型名称,在“详情”页签中,可获取模型的部署ID。 图1 部署后的模型调用路径 若调用预置模型,可在左侧导航栏中选择“模型开发 > 模型部署”,在“预置服务”页签,模型列表单击“调用路径”,获取该模型的部署ID。
言处理能力比肩OpenAI o1正式版。DeepSeek-R1-32K-0.0.1版本支持推理部署。 平台已预置推理服务,用户可通过体验中心或者API调用该推理服务。 直接部署模型时,已预置最优模型,无需进行压缩后再部署。 表1 推理特性 推理精度 FP16 INT8 序列长度 32K
exception. 服务内部异常。 请联系服务技术支持协助解决。 PANGU.3254 The requested inference service does not exist. 资源不存在。 请检查调用API时projectId和deploymentId是否填写正确,推理服务状态是否可用。
否吸烟或有其他呼吸系统疾病史?" //第二轮答案 }, { "content": "以前没有相关疾病,不确定有没有接触过感冒的患者" //第三轮问题 } ], "temperature": 0.9,
创建Agent API(可选) 创建Agent API和创建NLP大模型API基本一致,详细可参考 创建API服务(可选)。 以下是创建Agent API的注意事项: 登录ModelArts Studio平台,进入所需空间。 在“评测中心 > API管理”页面,单击右上角“创建A
加高效地满足用户需求。 通过插件接入,用户可以为应用赋予大模型本身不具备的能力。插件提供丰富的外部服务接口,当任务执行时,模型会根据提示词感知适用的插件,并自动调用它们,从外部服务中获取结果并返回。这样的设计使得Agent能够智能处理复杂任务,甚至跨领域解决问题,实现对复杂问题的自动化处理。
数据集是一组用于处理和分析的相关数据样本。 用户将存储在OBS服务中的数据或本地数据导入至ModelArts Studio大模型开发平台后,将生成“原始数据集”被平台统一管理,用于后续加工或发布操作。 创建导入任务 创建导入任务前,请先按照数据集格式要求提前准备数据。 平台支持使用OBS服务导入数据,请详见通过控制台快速使用OBS。