如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
策略授权参考 本章节介绍Fabric策略授权场景下支持的策略授权项。 支持的授权项 策略包含系统策略和自定义策略，如果系统策略不满足授权要求，管理员可以创建自定义策略，并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应，授权项列表说明如下： 权限：允许或拒绝某项操作。
创建推理端点 用户在创建推理服务之前，需要先创建推理端点。创建推理端点的时候可以配置最大资源数，然后在推理端点之上创建推理服务，推理端点上的所有推理服务的总资源数不能超过推理端点的最大资源数，方便用户控制推理端点的资源使用量； 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。
选择“资源与资产->推理端点”。 单击想要删除的推理端点右上角的垃圾桶标记，确认后删除推理端点。 图1 推理端点 父主题： 创建我的推理服务进行推理
您也可以删除您不想要的模型版本。 单击页面操作列的“删除”按钮，再次确认后进行删除。 图6 删除模型入口 图7 删除模型 父主题： 创建我的推理服务进行推理
台机器上扩展其应用的研究人员和工程师来说，是一个强有力的工具。同时，Ray生态系统还包括一些高级库，例如Ray Tune（用于超参数调整）、RLlib（用于强化学习）、Ray Serve（用于模型服务）等，以满足不同场景下的需求。 应用场景 Ray作为一个分布式机器学习计算框架，
API概览 通过使用Fabric服务所提供的接口，您可以完整的使用Fabric服务的基本功能。Fabric服务提供的具体API如表1所示。 表1 Fabric服务API概览 类型 子类型 说明 Fabric-admin 服务健康检查 服务健康检查。 用户协议管理 用户协议管理。 委托管理
创建Ray集群 Ray是一款高性能分布式执行框架，它使用了和传统分布式计算系统不一样的架构，提供了分布式计算的抽象方式。 Ray集群采用全托管独享模式，用户无需关心后台的资源管理，提供基于Ray的分布式作业执行能力，完全兼容开源版本，用户无需对脚本进行复杂的适配就可以使用，并且开
用公共推理服务进行推理：Fabric提供基于开源大语言模型（Qwen2、GLM4等）的公共推理服务，用户可以在推理端点查看公共端点，选择自己想用的端点进行开通，然后就可以在试验场使用公共推理服务。该方式无需部署，开通后即可使用常见的开源大模型进行推理。 创建我的推理服务进行推理：
Ray场景 Ray资源管理 镜像包管理 Ray集群管理 管理Ray服务
运维管理 设置消息通知 删除消息通知
API 服务健康检查 用户协议管理 委托管理 工作空间管理 服务规格 端点管理 模型定义 TMS管理 消息管理 监控管理 配置中心 Service实例管理 推理服务接口 Session接口
附录 状态码 错误码 获取项目ID 获取账号ID 获取工作空间ID 获取端点ID 获取模型ID 获取推理服务实例ID 获取企业项目ID
产品规格 模型推理产品规格 表1 模型推理产品规格 类型 规格 算力 MU mu.llama3.8b 为llama3.8b模型，提供短token场景约400RPM算力。 mu.llama3.70b 为llama3.70b模型，提供短token场景约100RPM算力。 mu.llama3
SDK概述 数智融合服务软件开发工具包（DataArts Fabric SDK，DataArts Fabric Software Development Kit）是对Fabric服务提供的REST API进行的封装，以简化用户的开发工作。用户直接调用Fabric SDK提供的接口
/LICENSE 公共推理服务约束与限制 Token配额约束：每种公共推理服务都有免费配额限制，超过配额不可用，也无法再购买。每种公共推理服务的配额为当前用户在当前局点下所有工作空间共享； 时间约束：有效期为开通90天内，超过时间则失效。同一个推理服务在不同工作空间下面开通，以首次开通为准。
失败。 Token在计算机系统中代表令牌（临时）的意思，拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头，从而通过身份认证，获得操作API的权限。 Token可通过调用获取用户Token接口获取，调用本服务API需要project级
计费说明 计费项 计费模式 计费样例 变更配置 费用账单 停止计费 到期与续费
应用示例 将开发者指南的内容转换为接口调用请求体和响应体的内容返回 创建一个推理服务
模型定义 创建模型 列举模型 列举基模型 删除模型版本 更新模型 查询模型的版本列表 删除未使用的模型定义 父主题： API
Session接口 获取session信息，由最终租户调用 父主题： API
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
您即将访问非华为云网站，请注意账号财产安全
