检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建IAM用户并授权使用Fabric 在使用Fabric相关功能之前,您需要提前做好准备工作,包括开通账号、开通与配置账号子账号权限、创建工作空间等。本章节详细介绍创建IAM用户并授权使用Fabric操作步骤。 前提条件 已有可正常使用的华为云账号。 操作步骤 登录华为云控制台,
创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。 文件系统名称:根据界面要求设置并行文件系统名称,例如“fabric-serverless”。 其他参数根据实际情况选择。 在并行文件系统页面,单击已创建的文件系统名称,例如“fabric-serverless”。 在左侧导航栏选择“文件
接跳过。 规划并创建OBS并行文件系统并导入数据 创建OBS并行文件系统及文件夹,用于数据存储,并导入样例数据。 规划并创建Catalog、数据库、表 在LakeFormation界面进行Catalog、数据库、表的创建,并指定OBS并行文件系统目录。 查询数据 在SQL编辑器界面进行SQL查询。
Fabric SQL功能介绍 Fabric SQL介绍 Fabric SQL是一个全托管式数据平台,利用华为云基础设施提供的资源池化和海量存储能力,结合并行执行、元数据解耦、计算持久化分离架构,实现了极致弹性和湖仓一体等能力,提供先进软件及服务(SaaS)技术。全新的无服务器架构
Fabric SQL计费概述 通过阅读本文,您可以快速了解Fabric SQL的计费模式、计费项等主要计费信息。 计费模式 Fabric SQL服务提供Pay By Resource和Pay By Query两种Serverless按需计费模式供您灵活选择。 Pay By Res
数智融合服务软件开发工具包(DataArts Fabric SDK,DataArts Fabric Software Development Kit)是对Fabric服务提供的REST API进行的封装,以简化用户的开发工作。用户直接调用Fabric SDK提供的接口函数即可实现使用Fabric服务业务能力的目的。
创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。 文件系统名称:根据界面要求设置并行文件系统名称,例如“fabric-serverless”。 其他参数根据实际情况选择。 在并行文件系统页面,单击已创建的文件系统名称,例如“fabric-serverless”。 在左侧导航栏选择“文件
使用Fabric SQL服务 支持通过SQL编辑器连接Fabric SQL进行SQL操作。 登录华为云DataArtsFabric控制台,选择进入工作空间 左侧选择“开发与生产 > SQL编辑器”,选择LakeFormation实例、LakeFormation Catalog、SQL端点后,即可运行SQL。
Fabric SQL Fabric SQL使用流程 创建SQL端点 使用Fabric SQL服务 入门实践
赋予对应column的一个有效表达式或值: 向表中字段插入单引号时需要使用单引号自身进行转义。 如果插入行的表达式不是正确的数据类型,系统试图进行类型转换,如果转换不成功,则插入数据失败,系统返回错误信息。 示例: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Iceberg简介 Iceberg是一个面向海量数据分析的开放表格式,是元数据和数据文件的一种组织方式,处于计算引擎和存储系统之间。旨在提供一种可扩展且可靠的方式来管理海量的数据表格。Iceberg的设计目标是提供一个可扩展的、高性能的、易于使用的表格管理解决方案,以满足现代分布式数据处理的需要。
Fabric SQL约束限制 Fabric SQL约束与限制 技术指标 最大值 并发Session数 500 异步创建Session等待队列最大长度 1000 Fabric SQL服务使用限制 表1 Fabric SQL服务使用限制 事项 说明 开通服务 一个账号支持开通一个Fabric
大模型推理使用流程 Fabric平台提供了一个Serverless化的从数据到模型部署的AI全流程开发体验,针对每个环节,其使用是相对独立自由的。本章节梳理了Fabric使用流程详解,您可以选择其中一种方式完成AI开发。 表1 使用流程说明 流程 说明 详细指导 创建工作空间 创
EXTERNAL SCHEMA 功能描述 CREATE EXTERNAL SCHEMA为Fabric SQL服务下特有语法,该语法功能是在LakeFormation上创建指定名称的Database。 注意事项 Fabric SQL没有集群概念,不会存储任何元数据,所有元数据均存放于LakeFor
lakeformation:agency:describe 否 Fabric服务使用LakeFormation服务所需的权限。如果需要对接LakeFormation,则需要开启。 FABRIC_SMN_POLICY smn:topic:publish 否 Fabric服务使用消息通知服务所需的权限。如果需要消息通知能力,则需要开启。
FABRIC_SELF_POLICY:访问自身服务所需要的权限策略; FABRIC_SMN_POLICY:消息通知功能相关权限策略,用来将系统通知消息转发到SMN; FABRIC_LAKEFORMATION_POLICY:LakeFormation功能相关权限策略; FABRIC_AOM_POLICY:AOM功能相关权限策略。
PG_FOREIGN_SERVER PG_FOREIGN_SERVER系统表存储外部服务器定义。一个外部服务器描述了一个外部数据源,例如一个远程服务器。外部服务器通过外部数据封装器访问。 表1 PG_FOREIGN_SERVER字段 名字 类型 引用 描述 oid oid - 行
约束限制:支持模糊匹配。 取值范围: FABRIC_COMMON_POLICY:基础通用服务相关权限策略,是委托必需的权限策略; FABRIC_SELF_POLICY:访问自身服务所需要的权限策略; FABRIC_SMN_POLICY:消息通知功能相关权限策略,用来将系统通知消息转发到SMN;
PG_CONVERSION PG_CONVERSION系统表描述编码转换信息。 表1 PG_CONVERSION字段 名称 类型 引用 描述 oid oid - 行标识符(隐藏属性,必须明确选择才会显示)。 conname name - 转换名(在一个命名空间里唯一)。 connamespace
PG_OPERATOR PG_OPERATOR系统表存储有关操作符的信息。 表1 PG_OPERATOR字段 名字 类型 引用 描述 oid oid - 行标识符(隐藏属性,必须明确选择才会显示)。 oprname name - 操作符的名称。 oprnamespace oid PG_NAMESPACE