检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同的子请求。 696420f077624b81ada0dafc2346e52a SpanType 子步骤的操作类型,例如大模型调用、API服务调用、User Input等。 LLM SpanName 子步骤的名称。 大模型 使用过滤器筛选信息 调用链管理界面支持按多种维度灵活筛选
接入模型服务API接口规范 当前模型网关支持文本对话(Chat)、文本向量化(Embeddings)、文本排序(Rerank)、图像理解类型的API接入。 模型API接入之前,请确保符合相对应的接口规范,其中文本对话、文本向量化、图像理解类型需要符合OpenAI接口规范,文本排序类型需要符合AI引擎标准协议。
在界面中可以选择以下单位显示链路整体耗时消耗:Avg、Max、Min、P50、P90、P99。 9.12s 服务请求成功率 以折线图的方式显示成功状态的Root Span数量占总Root Span数量的占比,反映服务的整体可用性和稳定性。 100% 模型请求成功率 以折线图的方式显示成功状态的Model
单击“添加节点”并选择“MCP服务”节点。 在“个人服务”或“预置服务”页签单击“”,将MCP服务添加至画布中,其中有些“预置服务”不能直接添加,需要单击“立即开通”,开通服务后即可添加至画布中。 预置服务为平台内置的MCP服务。 个人服务为用户创建的自定义MCP服务,创建MCP服务步骤详见创建MCP服务。
模型服务介绍 模型服务(Model Serving)是指将机器学习模型部署为服务,以便其他应用程序或系统可以调用这些模型进行预测或决策。模型服务是机器学习生命周期中的一个重要环节,它使得模型能够从开发环境顺利过渡到生产环境,从而实现商业价值。 在Versatile中,模型服务为智
接入模型服务 模型服务介绍 接入预置的供应商模型服务 接入自定义的供应商模型服务 配置模型服务路由策略
置的MCP服务请参考使用预置的MCP。 空白模板:适用于安装开源社区的MCP或接入自主开发的MCP服务。 平台预置MCP:适用于安装平台预置的MCP。 图2 创建MCP服务 配置MCP服务,参数的具体说明请参考表1所示。 表1 创建MCP服务参数说明 参数 说明 服务图标 MCP
使用MCP服务 在单智能体应用中使用MCP 在工作流应用中使用MCP 父主题: MCP
说明 示例 模型服务 “模型服务A”默认展示所选的供应商模型服务。“模型服务B”为可选项。 您也可以在下拉列表选择或切换以下模型服务: 用户自主接入的模型服务,以模型供应商维度展示。 平台接入的供应商模型服务,以模型供应商维度展示。 平台预置:平台预置的免费模型服务。 我的路由策略:用户自定义创建的路由策略。
配置模型服务路由策略 通过设置路由策略,可以实现模型故障自动切换功能。当模型A因故障等原因无法正常工作时,系统会自动切换至其他可用模型,继续提供服务,从而提升模型服务的稳定性和可用性。路由策略创建完成后,可以进行调测和使用。 前提条件 已接入自定义的模型服务。 创建路由策略 登录
在Versatile服务,模型接入页面添加模型服务,配置示例如图3所示。 图3 新增模型服务 相关操作 在接入模型服务卡片列表,支持的其他操作请参考表2。 表2 接入模型服务相关操作 操作 说明 查看接入模型服务信息 单击接入模型服务卡片。 修改接入模型服务信息 在需要修改的接入模型服务卡片上,单击“
说明 示例 模型服务 “模型服务A”默认展示所选的供应商模型服务。“模型服务B”为可选项。 您也可以在下拉列表选择或切换以下模型服务: 用户自主接入的模型服务,以模型供应商维度展示。 平台接入的供应商模型服务,以模型供应商维度展示。 平台预置:平台预置的免费模型服务。 我的路由策略:用户自定义创建的路由策略。
与其他服务的关系 表1 Versatile与其他服务的关系 服务名称 Versatile与其他服务的关系 主要交互功能 对象存储服务 OBS Versatile使用OBS存储文档数据和Agent元数据信息。 Versatile上传Agent元数据到OBS 从OBS下载Agent元数据
发布应用为API服务 将Agent应用发布为API服务后,可以通过调用OpenAPI的方式使用Agent程序。本文介绍如何将开发完成Agent应用发布为API服务。 发布Agent应用为API的详细步骤 登录Versatile智能体平台,在左侧导航栏“个人空间”区域,选择进入所需空间。
接入预置的供应商模型服务流程 Versatile平台接入了多种供应商的模型服务,这些服务由供应商部署,系统通过接入其API实现对接,用户只需配置模型鉴权参数,即可便捷地调测和使用。 平台预置的模型供应商的模型服务,用户在使用时,Versatile侧不计费,模型供应商侧如果计费,计费规则请参考模型供应商侧的计费规则。
单击目标单智能体应用,在“MCP服务”模块,单击。 在“添加MCP服务”窗口,在“个人服务”中,单击目标个人服务右侧进行一键添加,单击“确定”。 图2 添加个人MCP服务 添加MCP服务后,可在“MCP服务”中查看当前已添加的MCP服务。 图3 已添加MCP服务 移除MCP服务 登录Versat
接入预置的供应商模型服务 接入预置的供应商模型服务流程 对预置的供应商模型服务设置鉴权 调测预置的模型服务 父主题: 接入模型服务
击“清空鉴权”,单击“移除”。 移除鉴权配置后,模型服务为“未接入”,未接入的模型,不支持调测、使用。 相关文档 鉴权设置完成后,可以调测模型服务,请参考调测预置的模型服务。 鉴权设置完成后,可以在智能体、工作流中使用模型服务,请参考开发单智能体应用、开发工作流应用、开发多智能体应用。
查看MCP服务运行监控 运行监控功能提供MCP服务的调用次数、成功率以及操作日志的实时监控,帮助用户全面掌握MCP服务的状态和性能指标。 查看MCP服务运行监控 登录Versatile智能体平台,在左侧导航栏“个人空间”区域,选择进入所需空间。 如果已选择团队空间,界面显示为实际的团队空间名称,而非“个人空间”。
接入自定义的供应商模型服务 接入自定义的供应商模型服务流程 接入模型供应商 接入自定义的模型服务 接入模型服务API接口规范 调测已接入的模型服务 父主题: 接入模型服务