区域项目中都生效。访问Fabric时,需要先切换至授权区域。 下表列出了Fabric所有的系统权限。 表2 Fabric系统权限 系统角色/策略名称 描述 类别 依赖关系 DataArtsFabricFullPolicy Fabric服务的所有权限。 系统策略 IAM Agency
规格选择列表中可以看到所有的规格,选择的规格可根据创建的Ray资源向下兼容,比如创建了一个fabric.ray.dpu.d4x的资源,那么在选择head规格的时候可以选择fabric.ray.dpu.d1x、fabric.ray.dpu.d2x、fabric.ray.dpu.d4x,即一个大的资源规格可以被拆分为多个小的资源规格。
使用推理服务的权限配置示例 场景描述 假设某个公司需要使用Fabric服务,有如下需求: 张三作为IAM权限管理员,需要在Fabric页面进行服务授权并为各种不同的角色配置好对应的IAM权限。 李四作为开发工程师,需要创建工作空间,搭建一套Ray集群。 王五作为算法工程师,使用储
购买时长 可根据实际需要选择购买时长。 购买Ray资源有最低资源要求,最低需要4个fabric.ray.dpu.d1x的资源总量,Fabric服务中fabric.ray.dpu.dnx = n * fabric.ray.dpu.d1x。 选择完成后,单击“下一步”。确认配置详情完成后,
要在聊天完成中生成的最大token数。不同公共推理服务支持的最大max_tokens不一样,具体参考公共推理服务介绍。 temperature Temperature是用于调整随机程度的数字。介于0和2之间。较高的值(如0.8)将使输出更随机,而较低的值(如0.2)将使输出更集中和确定性。
FABRIC_SELF_POLICY:访问自身服务所需要的权限策略; FABRIC_SMN_POLICY:消息通知功能相关权限策略,用来将系统通知消息转发到SMN; FABRIC_LAKEFORMATION_POLICY:LakeFormation功能相关权限策略; FABRIC_AOM_POLICY:AOM功能相关权限策略。
策略授权参考 本章节介绍Fabric策略授权场景下支持的策略授权项。 支持的授权项 策略包含系统策略和自定义策略,如果系统策略不满足授权要求,管理员可以创建自定义策略,并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应,授权项列表说明如下: 权限:允许或拒绝某项操作。
取值范围: FABRIC_COMMON_POLICY:基础通用服务相关的权限策略; FABRIC_SMN_POLICY:消息通知功能相关的权限策略; FABRIC_LAKEFORMATION_POLICY:LakeFormation功能相关的权限策略; FABRIC_AOM_POLICY:AOM功能相关的权限策略;
计费样例 样例1:Fabric服务RAY资源-计费说明 RAY资源的“按需计费”模式都是秒级计费,Fabric产品价格详情中标出了每小时价格,您可以将每小时价格除以3600,即得到每秒价格。 示例,某一RAY资源按需实例,fabric.ray.dpu.d1x规格价格为0.2元/小时,购买数量为5的按需实例根据规格数量
创建模型 在Fabric部署推理服务的时候除了使用公共模型,用户也可以自己创建模型。用户可以在Fabric模型页面创建模型,这些模型是属于用户个人,其他用户不可见。 约束与限制 创建模型的通用约束如下: 需要是Fabric支持的基模型,否则不支持,基模型列表如下: 表1 基模型列表
"e935d0ef-f4eb-4b95-aff1-9d33ae9f57a6", "name": "fabric", "description": "fabric", "create_time": "2023-05-30T12:24:30.401Z"
配置指标源 全量指标中输入指标名称进行查询。 表1 监控指标 指标名称 描述 fabric_dpu_cpu_usage 该指标用于统计Ray集群head和worker的cpu资源使用率。 单位:百分比。 fabric_dpu_mem_usage 该指标用于统计Ray集群head和worker的内存资源使用率。
已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 需要配置FABRIC_SMN_POLICY委托,具体操作参考配置Fabric云服务委托权限。 已有至少一个消息通知。 操作步骤 登录Fabric工作空间管理台。 选择已创建的工作空间,单击“进入工作空间”,选择“运维管理->消息通知”。
要在聊天完成中生成的最大token数。不同公共推理服务支持的最大max_tokens不一样,具体参考公共推理服务介绍。 temperature Temperature是用于调整随机程度的数字。介于0和2之间。较高的值(如0.8)将使输出更随机,而较低的值(如0.2)将使输出更集中和确定性。
镜像包管理 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 请确保您已开通镜像包操作白名单功能。如果有试用需求,请在Fabric工作空间管理台顶部导航栏选择“工单 > 新建工单”申请权限。 上传镜像压缩包到SWR 登录容器镜像服务SWR控制台,在“页面上传”对话
删除Service实例 功能介绍 删除Service实例,释放该实例的资源 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE https://localhost
Service实例管理 列举已部署的Service实例 查看部署的Service实例详情 部署服务 更新Service实例 删除Service实例 父主题: API
更新Service实例 功能介绍 更新已部署的Service实例 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT https://localhost.com/
获取工作空间ID 进入Fabric服务的工作空间管理台,选择到您需要操作的工作空间,单击“查看详情”。 在“基础信息”中即可获取当前工作空间的ID。 父主题: 附录
计费项 Fabric服务根据RAY、推理业务场景有不同的策略进行计费。详细的计费项及说明请参考表1。每个计费项的详细价格请参考产品价格详情。 表1 计费项信息 计费项 计费说明 RAY资源 此处根据您创建的RAY资源规格和数量按照使用时间进行计费,不同的数据处理单元或AI计算单元
您即将访问非华为云网站,请注意账号财产安全