使用推理服务的权限配置示例 场景描述 假设某个公司需要使用Fabric服务,有如下需求: 张三作为IAM权限管理员,需要在Fabric页面进行服务授权并为各种不同的角色配置好对应的IAM权限。 李四作为开发工程师,需要创建工作空间,搭建一套Ray集群。 王五作为算法工程师,使用储
获取推理服务实例ID 登录Fabric工作空间管理台。 选择已创建的工作空间,单击“进入工作空间”,选择“资源与资产->推理实例”。 单击想要查询的推理实例查看推理实例详情。 查询推理实例ID字段的值获取推理实例ID。 图1 获取推理服务实例ID 父主题: 附录
创建我的推理服务进行推理 创建模型 管理模型 创建推理端点 创建推理服务 使用推理服务进行推理 删除推理服务 删除推理端点 父主题: 大模型推理场景
用公共推理服务进行推理 查看公共推理服务 开通推理服务 在试验场进行推理 父主题: 大模型推理场景
要在聊天完成中生成的最大token数。 输入token和生成token的总长度受模型的上下文长度限制。 temperature 否 Double Temperature是用于调整随机程度的数字。介于0和2之间。较高的值(如0.8)将使输出更随机,而较低的值(如0.2)将使输出更集中和确定性。
已有至少一个正常可用的工作空间。 已开通公共推理服务,开通流程请参见开通推理服务。 操作步骤 登录Fabric工作空间管理台。 选择已创建的工作空间,单击“进入工作空间”。 在左侧菜单栏中选择“推理服务> 公共推理服务”,进入“公共推理服务”页面。 图1 查看公共推理服务 单击“试验场”,进入“试验场”页面,进行推理操作。
在左侧菜单栏选择“开发与生产 > 推理服务”,然后在页面右上角单击“创建推理服务”,填写推理服务的名称、描述等基本信息,并选择推理端点和模型,配置资源最小值和最大值,单击“立即创建”。 “模型”支持选择“我的模型”或者“公共模型”。 在左侧菜单栏选择“开发与生产 > 试验场”,选择目标推理服务进行推理调试。
查询系统协议 功能介绍 查询系统协议。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET https://localhost.com/v1/agreement-rule
200 表3 响应Body参数 参数 参数类型 描述 configs Array of Feature objects 配置列表。 total Integer 配置项总数。 表4 Feature 参数 参数类型 描述 key String 参数解释:配置项key。 约束限制:不涉及。
4.0 6.0 2.0 3.0 步骤二:将代码脚本上传至OBS桶 登录华为云控制台,在页面左上角单击,选择“存储 > 对象存储服务 OBS”,进入OBS服务。 将步骤一创建的代码脚本上传至OBS桶,详情请参见使用OBS桶上传对象。 脚本上传成功后,可在OBS桶中查看到已上传的脚本。
健康检查 功能介绍 查询服务健康检查状态。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET https://localhost.com/healthcheck
HTTP请求方法(也称为操作或动词),它告诉服务正在请求什么类型的操作。 表1 请求方法说明 请求方法 说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源,例如删除对象等。 HEAD 请求服务器资源头部。 PATCH
切换至授权区域。 下表列出了Fabric所有的系统权限。 表2 Fabric系统权限 系统角色/策略名称 描述 类别 依赖关系 DataArtsFabricFullPolicy Fabric服务的所有权限。 系统策略 IAM Agency Management FullAccess
00010034 当前不支持批量删除系统标签。 请选择其他标签操作。 400 00010035 您没有权限操作系统标签。 请检查您的权限。 400 00010036 系统标签不能为空。 请检查系统标签参数。 400 00010037 系统标签和标签不能同时使用。 请选择系统标签或者标签中的一种。
什么是项目 云的每个区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以区域默认单位为项目进行授权,IAM用户可以访问您账号中该区域的所有资源。 如果您希望进行更加精细的权限控制,可以在区域默认的项目中创建子项目,并在子项目中购买
欢迎使用Fabric服务。您可以通过控制台或API实现大模型推理、Ray作业等服务。 您可以使用本文档提供的API对数智融合计算服务进行相关操作,例如创建删除推理、作业端点等。支持的全部操作请参见API概览。 终端节点 终端节点即调用API的请求地址,不同服务不同区域的终端节点不
账单上报周期 按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。按需计费模式产品根据使用量类型的不同,分为按小时、按天、按月三种周期进行结算,具体扣费规则可以参考按需产品周期结算说明。 示例:按小时结算的云服务器在8:30删除资源,但是8:00~9:00期间产生的费用,
用户协议管理 查询系统协议 注册租户协议 查询用户是否注册协议 删除用户注册协议 父主题: API
动开发和生产任务,使能客户在快速变化的业务中,低成本试错。 产品架构 Fabric提供高性能、高可靠、低时延、低成本的海量存储系统,与华为云的大数据服务组合使用,可大幅度降低成本,帮助企业简单快捷地管理大数据。 分布式Ray Fabric支持分布式计算框架Ray,来帮助客户解决规
创建模型 在Fabric部署推理服务的时候除了使用公共模型,用户也可以自己创建模型。用户可以在Fabric模型页面创建模型,这些模型是属于用户个人,其他用户不可见。 约束与限制 创建模型的通用约束如下: 需要是Fabric支持的基模型,否则不支持,基模型列表如下: 表1 基模型列表
您即将访问非华为云网站,请注意账号财产安全