检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数 说明 Ray服务名称 自定义的Ray服务名称。 Ray服务 ID Ray服务唯一标识ID。 状态 当前Ray服务状态。 描述 对Ray服务的自定义描述信息。 创建人 Ray服务的创建者。 创建时间 创建Ray服务的时间。 镜像包版本 Ray服务当前部署的Ray服务镜像版本信息。
部署服务 功能介绍 部署一个Service实例。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST https://localhost.com/v1/work
开通推理服务 对于公共推理服务，用户需要先申请开通，开通后才可以使用。开通公共推理服务之后用户会获得一定的免费配额，并在一定的时间内有效，超过将无法使用。如果用户想继续使用，建议部署推理服务使用。 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 操作步骤
管理Ray服务 创建Ray服务 升级Ray服务 运行推理服务 删除Ray服务 父主题： Ray场景
创建服务委托 功能介绍 为用户自动创建服务所需要的服务委托。委托需要附加必需的权限策略才能使用，创建委托会自动附加必需的权限策略，也可以指定附加需要的权限策略。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。
中选择“推理服务” 在“推理服务”页面的“我的推理服务”页签右上角，单击“创建推理服务”，进入创建页面。 填写创建推理服务的名称、描述等基本信息，并选择推理端点和模型。模型可以选择公共模型或者我的模型。然后配置资源最小值和最大值。详细描述请见下表。 表2 创建推理服务参数说明 参数
查询服务委托 功能介绍 查询用户服务委托详情是否满足系统所需权限。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET https://localhost.com/v1/agency
关于配置项说明，请参见表1。 升级Ray服务等待时间为3000s，超时会导致升级失败 图1 升级Ray服务的基础配置 图2 升级Ray服务的Ray serve配置 回退升级Ray服务 如果使用了错误的升级配置或其他原因，可能会导致升级Ray服务失败，此时需要对升级失败的Ray服务进行回退操作。 在“
删除Ray服务 前提条件 已有至少一个Ray服务。具体操作，请参见创建Ray服务。 操作步骤 Ray服务一旦删除所有记录都会被清理掉，且无法恢复。请谨慎操作。 登录Fabric工作空间管理台。 选择已创建的工作空间，单击“进入工作空间”，选择“开发与生产 > Ray服务”。 在需
查看公共推理服务 推理端点试用期内，可以直接使用公共推理服务进行推理。目前的公共推理服务是基于开源大模型部署的，列表如下（实际的推理服务以服务为准）： 表1 公共推理服务 名称 描述 免费额度 最大上下文长度 prompt模板长度 最大输出token QWEN_2_72B Qwe
服务规格 查询服务规格列表 父主题： API
推理服务接口 发起调用请求 父主题： API
推理服务”。 选择想要删除的推理服务，单击其操作栏的“删除”按钮进行删除。 图1 触发推理服务删除 在弹出的二次确认界面确认后，输入“DELETE”后单击“确认”，即可完成删除。 图2 确认删除推理服务 父主题： 创建我的推理服务进行推理
删除服务委托 功能介绍 删除用户授权给服务的委托。委托中包含由了Fabric服务定义的必要权限策略和非必要权限策略。非必要权限策略可以通过指定权限策略名称删除，不会影响其他权限策略。必要权限策略不能单独删除，只能通过删除整个委托的方式来删除。部分权限策略删除前会校验是否满足删除条
得到推理结果：9 图2 运行Ray服务推理 查看Ray服务的Dashboard 登录Fabric工作空间管理台。 选择已创建的工作空间，单击“进入工作空间”，选择“开发与生产 > Ray服务”。 在“Ray服务”页面，单击目标Ray服务名称。 在“Ray服务详情”页面的“概览”页签，单
创建一个推理服务 概述 本文指导用户通过调用API的方式，介绍创建一个推理服务的完整流程。 本流程假设终端租户已经在Console界面完成Fabric的服务授权。API的调用方法请参见如何调用API。 前提条件 hostname：通过地区和终端节点查询服务的终端节点获取。 操作步骤
使用推理服务进行推理 部署完推理服务之后，用户可以在试验场选择已有的推理服务进行推理，也可以调用API进行推理，具体请参考API文档（API链接到API参考）。下面是使用试验场进行推理的步骤： 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 已创建推理服务。
配置Fabric服务委托权限 当前云服务提供多种功能，不同的功能需要不同的委托权限。详细见表1。在创建好的工作空间中，可以进行服务授权。 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 操作步骤 登录Fabric工作空间管理台，单击“服务授权”。 图1 服务授权界面
服务健康检查 健康检查 父主题： API
查询服务规格列表 功能介绍 查询服务规格列表，购买计算资源使用。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET https://localhost.com/v1/specs
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
