检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
优化器参数调整 本节将介绍影响Fabric SQL SQL调优性能的关键CN配置参数,配置方法参见查看和设置GUC参数。 表1 CN配置参数 参数/参考值 描述 enable_nestloop=on 控制查询优化器对嵌套循环连接(Nest Loop Join)类型的使用。当设置为“on”后,优化器优先使用Nest
使用Iceberg前准备 设置GUC 本版本新增GUC参数enable_meta_scan,用于优化查询的性能。 该参数默认打开,但在表数据量很小的情况下,关闭可能比打开的时候查询性能更高,请基于实际情况打开或关闭该GUC。 代码示例如下: 1 2 3 4 5 6 SHOW enable_meta_scan;
窗口函数 普通的聚集函数只能用来计算一行内的结果,或者把所有行聚集成一行结果。而窗口函数可以跨行计算,并且把结果填到每一行中。 通过查询筛选出的行的某些部分,窗口调用函数实现了类似于聚集函数的功能,所以聚集函数也可以作为窗口函数使用。 窗口函数可以扫描所有的行,并同时将原始数据和聚集分析结果同时显示出来。
UUID函数 UUID函数表示可以用于生成UUID类型数据的函数。 uuid_generate_v1() 描述:生成一个UUID类型的序列号。 返回类型:UUID 示例: 1 2 3 4 5 SELECT uuid_generate_v1(); uuid_generate_v1
Java SDK 使用前须知 使用前准备 客户端初始化 SDK方法介绍 父主题: JDBC二次开发
XML函数 产生XML内容 XML谓词 处理XML 将表映射到XML 父主题: 函数和操作符
20]。 默认取值:不涉及。 sys_tags 否 Array of DeleteResourceTag objects 参数解释:批量删除请求体系统标签列表。 约束限制:不涉及。 取值范围:1。 默认取值:不涉及。 表4 DeleteResourceTag 参数 是否必选 参数类型 描述
取值范围:长度为[0,255]个字符。 默认取值:不涉及。 metastore_id 否 String 参数解释:LakeFormation服务的实例ID,即MetaStoreID。 约束限制:不涉及。 取值范围:长度为[32,36]的字母、数字、中划线(-)组合。 默认取值:不涉及。
查询端点列表 功能介绍 列举端点列表。用户可使用该接口列举工作空间下端点列表,支持输入模型id、端点id、名称、类型、可见性等参数过滤,支持分页查询。此接口为同步接口,无配套使用接口和特殊场景。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Exp
abric操作步骤。 前提条件 已有可正常使用的华为云账号。 操作步骤 登录华为云控制台,在页面左上角单击,在服务列表中选择“统一身份认证服务 IAM”。 图1 选择服务列表 单击“权限管理>权限”,单击右上角“创建自定义策略”,输入必要参数后单击“确定”。详细创建流程参考创建自定义策略。
使用Plan Hint进行调优 Plan Hint调优概述 Join顺序的Hint Join方式的Hint 行数的Hint Stream方式的Hint 子链接块名的hint 运行倾斜的hint -- 此节删除 指定子查询不提升的hint 配置参数的hint Hint的错误、冲突及告警
创建、清空、删除Iceberg表 外表(EXTERNAL TABLE)是对OBS上数据的映射。Fabric SQL通过外表方式访问OBS上的Iceberg数据。 创建Iceberg External表 通过CREATE EXTERNAL TABLE语法创建Iceberg表。与一般
执行计划算子 算子介绍 SQL执行计划中每一个步骤为一个数据库运算符,也叫做一个执行算子。Fabric SQL中算子是基本的数据处理单元,合理地组合算子、优化算子的顺序和执行方式,可以提升数据的处理效率。 Fabric SQL算子可分为:扫描算子、控制算子、物化算子、连接算子、其他算子等。
子查询调优 子查询背景介绍 应用程序通过SQL语句来操作数据库时会使用大量的子查询,这种写法比直接对两个表做连接操作在结构上和思路上更清晰,尤其是在一些比较复杂的查询语句中,子查询有更完整、更独立的语义,会使SQL对业务逻辑的表达更清晰更容易理解,因此得到了广泛的应用。 Fabric
加载驱动 在创建数据库连接之前,需要先加载数据库驱动程序。 加载驱动有两种方法: 在代码中创建连接之前任意位置隐含装载:Class.forName("org.postgresql.Driver"); 在JVM启动时参数传递:java -Djdbc.drivers=org.postgresql
n类型除外)。 如果输入类型是同一个类型范畴,则选择该类型范畴的首选类型(union操作会选择第一个分支的类型作为所选类型的情况除外)。 系统表pg_type中typcategory表示数据类型范畴, typispreferred表示是否是typcategory分类中的首选类型。
二进制类型 Fabric SQL支持的二进制类型请参见表1。 表1 二进制类型 名称 描述 存储空间 BYTEA 变长的二进制字符串 4字节加上实际的二进制字符串。最大为1G-8023B(即1073733621B)。 除了每列的大小限制以外,每个元组的总大小也不可超过1G-8203字节。
CREATE EXTERNAL TABLE 功能描述 CREATE EXTERNAL TABLE为Fabric SQL服务下特有语法,该语法功能是在LakeFormation上创建指定名称的表。 注意事项 PARTITIONED BY中出现的列不能出现在表的普通列描述中,分区列始终排在普通列的后面。
算子级调优 一个查询语句要经过多个算子步骤才会输出最终的结果。由于个别算子耗时过长导致整体查询性能下降的情况比较常见。这些算子是整个查询的瓶颈算子。通用的优化手段是EXPLAIN ANALYZE/PERFORMANCE命令查看执行过程的瓶颈算子,然后进行针对性优化。 如下面的执行
查询和写入Iceberg表 查询Iceberg表 可以查询Iceberg表中的数据。具体语法可参考SELECT。 注意事项: 当前仅支持查询最新全量数据。 示例: 1 SELECT * FROM iceberg_ext order by col1; 写入Iceberg表 可以向