检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
signature参数的类型推断 对于signature参数,允许用户传入参数/返回值类型,也允许用户不传入。 如果用户传入signature参数,不需要原始Python函数使用类型注解(type hints)语法,此时可以支持及时操作式的注册UDF。 如果用户不传入signat
使用推理服务进行推理 部署完推理服务之后,用户可以在试验场选择已有的推理服务进行推理,也可以调用API进行推理,具体请参考API文档(API链接到API参考)。下面是使用试验场进行推理的步骤: 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 已创建推理服务。
创建函数时,建议指定schema,否则会在默认的schema default_db下创建函数。调用自定义函数时必须指定schema,否则系统会调用系统内置函数。 argname 函数参数的名字。 字符串,需符合标识符的命名规范。 argtype 函数参数的类型。 详情请参见数据类型映射。
服务规格 查询资源规格列表 父主题: API
删除Ray服务 前提条件 已有至少一个Ray服务。具体操作,请参见创建Ray服务。 操作步骤 Ray服务一旦删除所有记录都会被清理掉,且无法恢复。请谨慎操作。 登录DataArtsFabric工作空间管理台。 选择已创建的工作空间,单击“进入工作空间”,选择“资源与资产 > Ray服务”。
signature(目前不可用) 指定UDF函数签名和返回值类型 ibis.common.annotations.Signature | None None 注意事项: 对于signature参数,目前不允许用户传入,只支持参数/返回值类型自动推断,详情请参见signature参数的类型推断。
参数 说明 Ray服务名称 自定义的Ray服务名称。 Ray服务 ID Ray服务唯一标识ID。 状态 当前Ray服务状态。 描述 对Ray服务的自定义描述信息。 创建人 Ray服务的创建者。 创建时间 创建Ray服务的时间。 镜像包版本 Ray服务当前部署的Ray服务镜像版本信息。
败 图1 升级Ray服务的基础配置 图2 升级Ray服务的Ray serve配置 回退升级Ray服务 如果使用了错误的升级配置或其他原因,可能会导致升级Ray服务失败,此时需要对升级失败的Ray服务进行回退操作。 在“Ray服务”页面,搜索升级失败的Ray服务,在“操作”列单击“回退到上一版本”,进行版本回退。
与生产 > 推理服务”。 选择想要删除的推理服务,单击其操作栏的“删除”按钮进行删除。 图1 触发推理服务删除 在弹出的二次确认界面确认后,输入“DELETE”后单击“确认”,即可完成删除。 图2 确认删除推理服务 父主题: 创建我的推理服务进行推理
推理服务接口 发起调用请求 父主题: API
开通推理服务 对于公共推理服务,用户需要先申请开通,开通后才可以使用。开通公共推理服务之后用户会获得一定的免费配额,并在一定的时间内有效,超过将无法使用。如果用户想继续使用,建议部署推理服务使用。 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 操作步骤
生产->推理服务” 在“推理服务”页面的“我的推理服务”页签右上角,单击“创建推理服务”,进入创建页面。 填写创建推理服务的名称、描述等基本信息,并选择推理端点和模型。模型可以选择公共模型或者我的模型。然后配置资源最小值和最大值。详细描述请见下表。 表2 创建推理服务参数说明 参数
管理Ray服务 创建Ray服务 升级Ray服务 运行推理服务 删除Ray服务 父主题: Ray场景
创建服务委托 功能介绍 授权委托给Fabric服务。用户调用该接口会创建一个委托,该委托会授权给Fabric服务。用户可以通过传入支持的委托权限策略来可选择的授权。此接口为同步接口,无配套使用接口和特殊场景。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API
FABRIC_COMMON_POLICY:基础通用服务相关权限策略,是委托必需的权限策略; FABRIC_SELF_POLICY:访问自身服务所需要的权限策略; FABRIC_SMN_POLICY:消息通知功能相关权限策略,用来将系统通知消息转发到SMN; FABRIC_LAKEF
ay服务。 运行推理服务 登录DataArtsFabric工作空间管理台。 选择已创建的工作空间,单击“进入工作空间”,选择“资源与资产 > Ray服务”。 在“Ray服务”页面的“推理地址”列,获取目标Ray服务的推理地址。 图1 Ray服务推理地址 使用API工具或其他方法调用推理地址,查询推理结果。
删除服务委托 功能介绍 取消授权给Fabric服务的委托。委托中包含由了Fabric服务定义的必要权限策略和非必要权限策略。非必要权限策略可以通过指定权限策略名称删除,不会影响其他权限策略。必要权限策略不能单独删除,只能通过删除整个委托的方式来删除。部分权限策略删除前会校验是否满
部署服务 功能介绍 部署一个服务实例。部署服务实例接口支持输入名称、描述、端点ID、实例规格、最小值和最大值等参数,返回实例ID。此过程包含资源校验:最大值不小于最小值,且不超过端点最大资源数;同一端点下所有服务总资源数亦需符合限制。服务实例将依据负载自动调整数量,确保在最小与最大值范围内运行。
count: 5 Total billed bytes: 0 bytes Turbo Engine: true (28 rows) 自然连接(NATURAL JOIN) 语法: 1 left_table NATURAL JOIN right_table 说明:表示left_tabl
服务健康检查 健康检查 父主题: API