检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
指定顺序模式:根据用户指定工作流顺序一次执行工作流。 单智能体与多智能体功能与应用场景差异 单智能体:依赖模型,可以使用插件、工作流、知识库、MCP服务等工具,让模型自主规划,使用不同工具完成指定任务。 多智能体:可配置多个工作流,侧重根据客户意图在不同工作流中进行选择和跳转。 常见问题
变量。修改部署时,模型无法进行替换。 模型更新、修改部署后进行升级操作时,可以选择全量升级、滚动升级两种方式。 全量升级:旧版本和新版本的服务会同时运行,直到新版本完全替代旧版本。在新版本部署完成前旧版本仍然可以使用。 滚动升级:通过空出部分实例资源用于滚动升级,逐个或逐批实例停
调用服务请求所需要的请求头,为对象格式,默认为{}。 url 调用服务的请求地址,为字符串格式,画布中可通过“选择服务”按钮进行自动填充。 request_type 调用服务的请求类型,默认为POST。 输出参数 response 调用服务的流式返回值。 图6 call_stream_api组件 call_api组件
三方大模型自动评测任务参数说明(基于规则) 参数分类 参数名称 参数说明 选择服务 评测类型 选择“大语言模型”。 服务来源 当前仅支持通过“外部服务”调用API做评测。单次最多可评测10个模型。 外部服务:通过API的方式接入外部模型进行评测。选择外部服务时,需要填写外部模型的接口名称、接口地址、请求体、响应体等信息。
精确率 预测为正的样本中,实际为正的比率。 召回率 实际为正的样本,预测为正的比率。 误报率 衡量检测系统或分类模型在负样本中错误判断为正样本的比例。其核心意义在于反映系统对正常数据的误判程度。 父主题: 评测预测大模型
明(基于规则) 参数分类 参数名称 参数说明 选择服务 评测类型 选择“大语言模型”。 服务来源 当前仅支持通过“外部服务”调用API做评测。单次最多可评测10个模型。 外部服务:通过API的方式接入外部模型进行评测。选择外部服务时,需要填写外部模型的接口名称、接口地址、请求体、响应体等信息。
件。作为功能扩展的重要载体,该节点允许通过调用插件来执行特定功能任务。每个插件实质上是经过标准化封装的API工具集合,提供即插即用的模块化服务,拓宽工作流的能力边界,完成更复杂的任务。 插件类型包括预置插件和个人插件。 预置插件:平台预置了代码解释器插件,能够执行输入的代码,得到
内存:部署需要使用的最小内存值。 Ascend:部署使用的NPU数量。 订阅提醒 订阅提醒 该功能开启后,系统将在任务状态更新时,通过短信或邮件将提醒发送给用户。 基本信息 服务名称 设置部署任务的名称。 描述(选填) 设置部署任务的描述。 参数填写完成后,单击“立即部署”。 父主题:
在“我的凭证”页面,获取项目ID(project_id),以及账号名、账号ID、IAM用户名和IAM用户ID。 在调用盘古API时,获取的项目id需要与盘古服务部署区域一致,例如盘古大模型当前部署在“西南-贵阳一”区域,需要获取与贵阳一区域的对应的项目id。 图2 查看项目ID 多项目时,展开“所
多模态大模型人工评测任务参数说明 参数分类 参数名称 参数说明 评测对象 评测类型 选择“多模态大模型”。 服务来源 支持已部署服务、外部服务两种选项。单次最多可评测10个模型。 已部署服务:选择部署至ModelArts Studio平台的模型进行评测。 评测配置 评测指标 由用户自定义评测指标并填写评测标准。
发布文本类数据集 数据发布是将数据集发布为特定格式的“发布数据集”的过程,用于后续模型训练等操作。 文本类数据集支持发布的格式为: 标准格式:数据工程功能支持的原始格式。 标准格式的示例如下,其中,context和target是键值对。 {"context": "你好,请介绍自己"
在Postman中选择“Body > raw”选项,参考以下代码填写请求Body。 { "prompt": "你好", "temperature": 0, "max_tokens": 100 } 图3 填写三方模型请求Body 单击Postman界面“Send”按钮,发送请求。
包周期资源到期后,如果您想继续使用服务,需要在保留期内进行手动续费,否则不能再对已过保留期的服务进行续费操作,需重新购买对应的服务。了解更多关于续费的信息,请参见续费。 欠费 在使用云服务时,账户的可用额度小于待结算的账单,即被判定为账户欠费。欠费后,可能会影响云服务资源的正常运行,需要及时充值。详细介绍请参见欠费说明。
训练后推理服务部署失败,报错NPU不可用 推理服务启动失败,报错NPU不可用: get device count of NPU failed,torch.npu.is_available() is False NPU卡未及时释放或者被其他应用占用,导致推理服务器上无推理卡可用。
CV大模型自动评测任务参数说明(基于规则) 参数分类 参数名称 参数说明 选择服务 模型类型 选择“CV大模型”。 评测模型 评测不同的CV模型。支持物体检测N,物体检测S,图像分类,语义分割等类型。 服务来源 支持已部署服务。单次最多可评测10个模型。 已部署服务:选择部署至ModelArts Studio平台的模型进行评测。
权限配置类型。针对当前场景,选择“普通模式”即可。 权限模板 预置权限配置模板,不用选择。 服务列表 在“服务列表”中搜索OBS,弹出“对象存储服务(OBS)”,选择即可。 功能权限 在“服务列表”中选择到服务之后,会出现该服务的所有权限,选择对应授权即可。 图1 IAM子用户授权添加OBS授权 将数据发布至AI
len(audio) / 1000 # 转换为秒 except: duration = None return duration class Process: def __init__(self, args: argparse.Namespace):
作业配置参数 设置模型部署参数信息。 计费模式 选择计费模式。 实例数 设置部署模型时所需的实例数,单次部署服务时,部署实例个数建议不大于10,否则可能触发限流导致部署失败。 基本信息 服务名称 设置部署任务的名称。 描述(选填) 设置部署任务的描述。 图1 创建全球区域中期海洋智能预测部署任务
请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于Pangu服务接口,如果调用后返回状态码为“200”,则表示请求成功。 响应消息头 对应请求消息头,响应同样也有消息头,如“Content-Type”。
在特定任务上具有更高的准确性:微调后的模型在具体任务中表现更优。相较于预训练阶段的通用能力,微调能使模型更好地解决细分任务的需求。 在一个客户服务问答系统中,可以用特定领域(如电商、保险)的对话数据对预训练模型进行微调,使其更好地理解和回答与该领域相关的问题。 强化学习(DPO) 关注偏好性:DPO(Direct