检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行数据导入 创建LakeFormation数据源 创建LakeFormation数据源,具体请参见《数据仓库服务用户指南》中的“管理LakeFormation数据源”章节。 创建External Schema 创建EXTERNAL SCHEMA。 SERVER名字填写创建的La
表数据膨胀导致SQL查询慢,用户前台页面数据加载不出 问题现象 数据库中原先执行几秒钟的SQL语句,现在执行二十几秒未出结果,导致前台页面数据加载超时,无法对用户提供图表显示。 原因分析 大量表频繁增删改,未及时清理,导致脏数据过多、表数据膨胀、查询慢。 内存参数设置不合理。 分析过程
图1 outline保存和使用流程 outline保存 outline保存,即将计划自动生成的outline记录到SQL_OUTLINE系统表中,以供后续将其绑定给SQL语句。 如果同一个sql_hash的语句不存在该outline_name的outline,则保存该outli
支持访问MRS上的Hudi表 SQL on Hudi支持对存储在MRS上的hudi表进行访问。该功能仅9.1.0及以上集群版本支持。 前提条件 已完成创建MRS数据源,具体可参见管理MRS数据源。 SQL on Hudi支持读取存储在MRS上的hudi表,在使用上仅创建数据源与OBS不同,其他无差异。
DWS以pg_toast_temp*或pg_temp*开头的Schema是什么? 查询Schema列表的时候,发现查询结果存在pg_temp*或pg_toast_temp*的Schema,如下图所示。 1 SELECT * FROM pg_namespace; 这些Schema
如果DWS建表时没有指定分布列,数据会怎么存储? 8.1.2及以上集群版本,可通过GUC参数default_distribution_mode来查询和设置表的默认分布方式。 如果建表时没有指定分布列,数据会以下几种场景来存储: 场景一 若建表时包含主键/唯一约束,则选取HASH分布,分布列为主键/唯一约束对应的列。
执行计划算子 算子介绍 SQL执行计划中每一个步骤为一个数据库运算符,也叫作一个执行算子。GaussDB(DWS)中算子是基本的数据处理单元,合理地组合算子、优化算子的顺序和执行方式,可以提升数据的处理效率。 GaussDB(DWS)算子可分为:扫描算子、控制算子、物化算子、连接算子、其他算子等。
SQL查询执行流程 SQL引擎从接收SQL语句到执行SQL语句需要经历的步骤如图1和表1所示。其中,红色字体部分为DBA可以介入实施调优的环节。 图1 SQL引擎执行查询类SQL语句的流程 表1 SQL引擎执行查询类SQL语句的步骤说明 步骤 说明 1、语法&词法解析 按照约定的
所以会造成以下危害: 存储上的倾斜会严重限制系统容量,在系统容量不饱和的情况下,由于单节点倾斜的限制,使得整个系统容量无法继续增长。 计算上的倾斜会严重影响系统性能,由于倾斜节点所需要运算的数据量远大于其它节点,导致倾斜节点降低系统整体性能。 数据倾斜还严重影响了MPP架构的扩
使用Plan Hint进行调优 Plan Hint调优概述 Join顺序的Hint Join方式的Hint 行数的Hint Stream方式的Hint Scan方式的Hint 子链接块名的hint 运行倾斜的hint 指定子查询不提升的hint Drive方式的Hint 字典编码的hint
调整能力。 query_band应用与配置 pg_workload_action跨库系统表用于存储query_band行为和次序,详见PG_WORKLOAD_ACTION。 默认行为和次序在系统表pg_workload_action不存储,query_band有设置非默认行为的,
游标概述 为了处理SQL语句,存储过程进程分配一段内存区域来保存上下文联系。游标是指向上下文区域的句柄或指针。借助游标,存储过程可以控制上下文区域的变化。 当游标作为存储过程的返回值时,如果使用JDBC调用该存储过程,返回的游标将不可用。 游标的使用分为显式游标和隐式游标。对于不
鼠标移动至页面右上角账号,单击“统一身份认证”,进入统一身份认证服务页面。 在左侧导航栏单击“委托”,在委托页面右上角单击“创建委托”。 创建委托时委托类型选择“云服务”,云服务选择“DWS”。 单击“完成”后,在弹窗中单击“立即授权”对委托授予KMS服务的“KMS Administrator”权限。
欲要绑定的lakeFormation集群实例。 数据库 要创建的LakeFormation数据源连接所在的数据库。 委托 拥有LakeFormation授权的委托,用于dws系统通过委托token和LakeFormation交互以获取元数据。 描述 要创建的LakeFormation数据源连接的描述信息。 确认无误
排序规则版本函数 pg_collation_actual_version (oid) 描述:返回当前安装在操作系统中的该排序规则对象的实际版本,目前仅对case_insensitive有效。 返回值类型:text 示例: 1 2 3 4 5 6 7 8 9 10
数字操作函数 abs(x) 描述:绝对值。 返回值类型:和输入相同。 示例: 1 2 3 4 5 SELECT abs(-17.4); abs ------ 17.4 (1 row) acos(x) 描述:反余弦。 返回值类型:double precision 示例: 1 2
删除残留文件函数 pg_rm_residualfiles(filepath) 描述:用于删除当前实例中指定残留文件列表中的文件。该函数为实例级函数,与当前所在的数据库无关,可以在任意实例上运行。 参数类型:text 返回值类型:record 函数返回字段如下: 表1 pg_rm_
SQL被大多数数据库用作查询语言。它是可移植的并且容易学习。但是每一个SQL语句必须由数据库服务器单独执行。 这意味着客户端应用必须发送每一个查询到数据库服务器、等待它被处理、接收并处理结果、做一些计算,然后发送更多查询给服务器。如果客户端和数据库服务器不在同一台机器上,所有这些会引起进程间通信并且将带来网络负担。
random_page_cost 参数说明:设置优化器计算一次非顺序抓取磁盘页面的开销。 参数类型:USERSET 取值范围:浮点型,0~10000。 默认值:4 虽然服务器允许将random_page_cost设置的比seq_page_cost小,但是物理上实际不受影响。如果所有数据库都位于随机访问内存中时
在开启并行查询后,请保证系统CPU、内存、网络、I/O等资源充足,以达到良好效果。 为了避免用户设置不合理的过大值造成性能劣化,系统会计算出该DN可用最大CPU核数,并以此来作为query_dop的上限。如果用户设置query_dop超过4并且同时超过该上限,那么系统会重置query_dop为该上限值。