检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署服务 功能介绍 部署一个服务实例。部署服务实例接口支持输入名称、描述、端点ID、实例规格、最小值和最大值等参数,返回实例ID。此过程包含资源校验:最大值不小于最小值,且不超过端点最大资源数;同一端点下所有服务总资源数亦需符合限制。服务实例将依据负载自动调整数量,确保在最小与最大值范围内运行。
使用推理服务进行推理 部署完推理服务之后,用户可以在试验场选择已有的推理服务进行推理,也可以调用API进行推理,具体请参考API文档(API链接到API参考)。下面是使用试验场进行推理的步骤: 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 已创建推理服务。
服务规格 查询资源规格列表 父主题: API
管理Ray服务 创建Ray服务 升级Ray服务 运行推理服务 删除Ray服务 父主题: Ray场景
参数 说明 Ray服务名称 自定义的Ray服务名称。 Ray服务 ID Ray服务唯一标识ID。 状态 当前Ray服务状态。 描述 对Ray服务的自定义描述信息。 创建人 Ray服务的创建者。 创建时间 创建Ray服务的时间。 镜像包版本 Ray服务当前部署的Ray服务镜像版本信息。
使用Fabric SQL服务 支持通过SQL编辑器连接Fabric SQL进行SQL操作。 登录华为云DataArtsFabric控制台,选择进入工作空间 左侧选择“开发与生产 > SQL编辑器”,选择LakeFormation实例、LakeFormation Catalog、SQL端点后,即可运行SQL。
删除Ray服务 前提条件 已有至少一个Ray服务。具体操作,请参见创建Ray服务。 操作步骤 Ray服务一旦删除所有记录都会被清理掉,且无法恢复。请谨慎操作。 登录Fabric工作空间管理台。 选择已创建的工作空间,单击“进入工作空间”,选择“开发与生产 > Ray服务”。 在需要删除的Ray服务右侧,单击“更多
开通推理服务 对于公共推理服务,用户需要先申请开通,开通后才可以使用。开通公共推理服务之后用户会获得一定的免费配额,并在一定的时间内有效,超过将无法使用。如果用户想继续使用,建议部署推理服务使用。 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 操作步骤
创建服务委托 功能介绍 授权委托给Fabric服务。用户调用该接口会创建一个委托,该委托会授权给Fabric服务。用户可以通过传入支持的委托权限策略来可选择的授权。此接口为同步接口,无配套使用接口和特殊场景。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API
关于配置项说明,请参见表1。 升级Ray服务等待时间为3000s,超时会导致升级失败 图1 升级Ray服务的基础配置 图2 升级Ray服务的Ray serve配置 回退升级Ray服务 如果使用了错误的升级配置或其他原因,可能会导致升级Ray服务失败,此时需要对升级失败的Ray服务进行回退操作。 在“
得到推理结果:9 图2 运行Ray服务推理 查看Ray服务的Dashboard 登录Fabric工作空间管理台。 选择已创建的工作空间,单击“进入工作空间”,选择“开发与生产 > Ray服务”。 在“Ray服务”页面,单击目标Ray服务名称。 在“Ray服务详情”页面的“概览”页签,单
中选择“推理服务” 在“推理服务”页面的“我的推理服务”页签右上角,单击“创建推理服务”,进入创建页面。 填写创建推理服务的名称、描述等基本信息,并选择推理端点和模型。模型可以选择公共模型或者我的模型。然后配置资源最小值和最大值。详细描述请见下表。 表2 创建推理服务参数说明 参数
FABRIC_COMMON_POLICY:基础通用服务相关权限策略,是委托必需的权限策略; FABRIC_SELF_POLICY:访问自身服务所需要的权限策略; FABRIC_SMN_POLICY:消息通知功能相关权限策略,用来将系统通知消息转发到SMN; FABRIC_LAKEF
推理服务”。 选择想要删除的推理服务,单击其操作栏的“删除”按钮进行删除。 图1 触发推理服务删除 在弹出的二次确认界面确认后,输入“DELETE”后单击“确认”,即可完成删除。 图2 确认删除推理服务 父主题: 创建我的推理服务进行推理
TABLE创建了一个表web_returns_p1,并以ORC文件格式存储数据。 1 2 3 4 5 6 7 CREATE EXTERNAL TABLE web_returns_p1 ( wr_returned_date_sk integer, wr_returned_time_sk
删除服务委托 功能介绍 取消授权给Fabric服务的委托。委托中包含由了Fabric服务定义的必要权限策略和非必要权限策略。非必要权限策略可以通过指定权限策略名称删除,不会影响其他权限策略。必要权限策略不能单独删除,只能通过删除整个委托的方式来删除。部分权限策略删除前会校验是否满
推理服务接口 发起调用请求 父主题: API
一种计划生成。 默认值:0 turbo_engine_version 参数说明:对于建表指定turbo存储格式表(表属性中enable_turbo_store参数设置为on),且当查询不涉及merge join或sort agg算子时,执行器可走turbo执行引擎,执行器部分性能可获得成倍性能提升。
count: 5 Total billed bytes: 0 bytes Turbo Engine: true (28 rows) 自然连接(NATURAL JOIN) 语法: 1 left_table NATURAL JOIN right_table 说明:表示left_tabl
服务健康检查 健康检查 父主题: API