检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi外表信息查询与自动同步任务 GaussDB(DWS)提供一系列系统函数来实现Hudi外表信息获取、创建Hudi自动同步任务等功能。其中Hudi自动同步任务实现了从Hudi外表周期性同步数据到GaussDB(DWS)内表功能。 表2 Hudi系统函数 序号 名称 类型 功能 1 pg_show_custom_settings()
GaussDB(DWS) UNION操作符的使用 在SQL中,UNION是一个非常强大的功能,UNION操作符用于合并两个或多个SELECT语句的结果集。合并时,两个表对应的列数和数据类型必须相同,并且相互对应。各个SELECT语句之间使用UNION或UNION ALL关键字分隔。
审视和修改表定义 在分布式框架下,数据分布在各个DN上。一个或者几个DN的数据存在一块物理存储设备上,较好的表定义需要满足以下要求: 表数据均匀分布在各个DN上,以防止单个DN对应的存储设备空间不足造成集群有效容量下降。选择合适分布列,避免数据分布倾斜可以实现该点。 表Scan压
使用命令行工具连接GaussDB(DWS)集群 下载客户端 使用Linux gsql客户端连接集群 使用Windows gsql客户端连接集群 使用SSL进行安全的TCP/IP连接 父主题: 连接GaussDB(DWS)集群
odegroup权限。 系统管理员可以关联到特定逻辑集群,并在多个逻辑集群中创建表。 系统管理员如果关联了逻辑集群,那么创建表时如果未指定to group,那么会默认创建到关联的逻辑集群中;如果指定了to group,则可将表创建到指定的逻辑集群中。 系统管理员如果没有关联逻辑集群,没有指定to
案例:使排序下推 在做场景性能测试时,发现某场景大部分时间是CN端在做window agg,占到总执行时间95%以上,系统资源不能充分利用。研究发现该场景的特点是:将两列分别求sum作为一个子查询,外层对两列的和再求和后做trunc,然后排序。可以尝试将语句改写为子查询,使排序下推。
GaussDB(DWS)存储过程动态语句 执行动态查询语句 执行动态非查询语句 动态调用存储过程 动态调用匿名块 父主题: GaussDB(DWS)存储过程
默认值:0 设置为非 0 值时事务执行commit后不会立即写入WAL中,而仍存放在WAL缓冲区中,等待WalWriter进程周期性写入磁盘。 如果系统负载很高,在延迟时间内,其他事务可能已经准备好提交。但如果没有事务准备提交,这个延迟就是在浪费时间。 commit_siblings 参数
GaussDB(DWS)各对象设计详细规则 GaussDB(DWS)数据库对象命名规则 GaussDB(DWS)数据库对象设计规则 GaussDB(DWS) JDBC配置规则 GaussDB(DWS) SQL编写规则 自定义GaussDB(DWS)外部函数(pgSQL/Java)使用规则
优化器参数调整 本节将介绍影响GaussDB(DWS) SQL调优性能的关键CN配置参数,配置方法参见设置GUC参数。 表1 CN配置参数 参数/参考值 描述 enable_nestloop=on 控制查询优化器对嵌套循环连接(Nest Loop Join)类型的使用。当设置为“on”后,优化器优先使用Nest
功能函数 hll_print(hll) 描述:打印hll的一些debug参数信息。 返回值类型:cstring 示例: 1 2 3 4 5 SELECT hll_print(hll_empty()); hll_print
备注:pg_advisory_unlock释放先前取得的排它咨询锁。如果释放成功则返回true。如果实际上并未持有指定的锁,将返回false并在服务器中产生一条SQL警告信息。 pg_advisory_unlock_shared(key bigint) 描述:释放会话级别的共享咨询锁。
日志在某个瞬间的“逻辑终点”,而实际的写入位置则是从服务器内部缓冲区写出时的终点。写入位置是可以从服务器外部检测到的终点,如果要归档部分完成事务日志文件,则该操作即可实现。插入点主要用于服务器调试目的。如果是只读操作,不需要系统管理员权限。 示例: 1 2 3 4 5 SELECT
哈希函数 hll_hash_boolean(bool) 描述:对bool类型数据计算哈希值。 返回值类型:hll_hashval 示例: 1 2 3 4 5 SELECT hll_hash_boolean(FALSE); hll_hash_boolean ---------------------
网络地址函数和操作符 cidr和inet操作符 网络地址函数 父主题: 函数和操作符
将表映射到XML table_to_xml(tbl regclass, nulls boolean, tableforest boolean, targetns text) 描述:把表的内容映射成XML值。 返回值类型:xml table_to_xmlschema(tbl regclass
了解Kafka请参见分布式消息服务Kafka产品介绍。 图1 Kafka实时入库DWS 本实践预计时长90分钟,实践用到的云服务包括虚拟私有云 VPC及子网、弹性负载均衡 ELB、弹性云服务器 ECS、对象存储服务 OBS、分布式消息服务 Kafka、数据湖探索 DLI和数据仓库服务 GaussDB(DWS),基本流程如下:
d为on。在统计数据量很大的场景中,建议使用该函数进行查询。 GaussDB(DWS)集群默认使用时区为UTC时间,与系统时间存在8h时差,请确保数据库时间与系统时间一致后进行以下查询。 查询所有CN上开始时间介于“2019-09-10 15:30:00”和“2019-09-10
性能调优概述 数据库性能调优是指通过优化数据库系统的配置及SQL查询,以提高数据库性能和效率的过程。目的为消除性能瓶颈、减少响应时间、提高系统吞吐量和资源利用率,降低业务成本,从而提高系统稳定性,给用户带来更大的价值。 本章通过性能诊断、系统调优及SQL调优及常见SQL调优案例等性能
登录GaussDB(DWS) 管理控制台。 在“专属集群 > 集群列表”页面,找到需要查看监控的集群。 在指定集群所在行的“操作”列,单击“监控面板”,系统将显示数据库监控页面。 在左侧导航栏选择“工具 > SQL诊断”,进入SQL诊断页面,其中包括: 查询ID 数据库 模式名 用户名称 客户端