检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DWS字符截取函数substrb()、substr()及substring()的用法及差异 DWS支持字符截取功能的函数:substrb()、substr()和substring(),这些函数都可以操作字符串截取,但在字符截取时的用法和差异是什么呢,本节进行详细介绍。 函数形式
执行计划中有NestLoop导致SQL语句执行慢 问题现象 某业务场景中SQL语句执行慢,打印执行计划发现存在NestLoop。 分析过程 通过EXPLAIN VERBOSE打印语句执行计划,查看执行计划发现SQL语句中存在not in语句。 执行计划中存在NestLoop。 分析结果
业务报错:unable to get a stable set of rows in the source table 问题现象 执行MERGE INTO将源表内容根据匹配条件对目标表做更新报错unable to get a stable set of rows in the source
如何判断DWS集群是x86还是ARM架构? 操作步骤 登录DWS控制台。 单击“集群 > 集群列表”。默认显示用户所有的集群列表。 在集群列表中,单击指定集群名称进入“集群详情”页面,在“基本信息”模块查看指定集群的节点规格。 根据节点规格在表格中查找对应的集群架构。规格说明如下所示:
SELECT操作规范 规则3.7 禁止执行不下推的SQL DWS为分布式架构,SQL语句必须下推才能分利用分布式的计算资源,达到性能最优。 违反规范的影响: 不下推的SQL执行性能差,严重情况会导致CN资源瓶颈,影响整体业务。 方案建议: 不使用不下推的语法和不下推的函数,具体参考语句下推调优。
种方法定义同名的数组类型时,DWS会优先选择存储过程中定义的数组类型来声明数组变量。 DWS 8.1.0之前版本, 由于数组可以自动增长,系统不会校验数组越界以及数组元素的长度限制。当前版本为了兼容Oracle的用法增加了相关约束。如果已经存在越界写入等场景,可通过在behavi
TPC-DS测试过程 TPC-DS测试数据 TPC-DS数据生成 建表与导入TPC-DS数据 TPC-DS查询测试 父主题: TPC-DS性能测试
SSB测试数据 表1 SSB测试数据 序号 表名 行数 表大小 1 supplier 200000 - 2 customer 3000000 - 3 part 1400000 - 4 lineorder 60037902 - 5 lineorder_flat 60037902 -
本实践演示如何使用华为云DLI服务的Flink作业(以Flink 1.15版本为例),将MySQL数据实时同步到DWS。 了解DLI请参见数据湖产品介绍。 本实践预计时长90分钟,实践用到的云服务包括虚拟私有云 VPC及子网、云数据库 RDS、数据湖探索 DLI、对象存储服务 OBS和数据仓库服务 DWS,基本流程如下:
执行导出 导出操作语法 执行数据导出语法: 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 执行导出数据示例 示例1:将表product_info_output的数据通过外表product_info_output_ext导出到数据文件中。
DWS SQL编写规则 DDL 【建议】在DWS中,建议DDL(建表、comments等)操作统一执行,在批处理作业中尽量避免DDL操作。避免大量并发事务对性能的影响。 【建议】在非日志表(unlogged table)使用完后,立即执行数据清理(truncate)操作。因为在异
VIEW对象设计规范 建议2.16 视图的嵌套需避免超过三层 违反规范的影响: 视图嵌套过深导致执行计划不稳定、耗时不稳定。 视图依赖的对象重建风险高,锁冲突发生概率增大。 方案建议: 创建视图直接基于物理表查询,不建议嵌套视图。 父主题: DWS对象设计规范
DWS用户及权限管理 DWS数据库用户类型 DWS数据库用户管理 自定义DWS密码策略 DWS数据库权限管理 DWS三权分立 父主题: DWS数据库安全管理
TABLESPACE对象设计规范 规则2.8 禁止自定义TABLESPACE表空间 违反规则的影响: 分布式场景建表使用自定义表空间,导致表数据无法按照各DN分布式存储,出现存储倾斜。 方案建议: 创建表对象使用内置默认表空间。 父主题: DWS对象设计规范
DWS敏感数据管理 DWS行级访问控制 DWS数据脱敏 DWS字符串加解密 使用pgcrypto加密DWS数据 父主题: DWS数据库安全管理
源,因此对作业性能影响较大,应该尽可能在停止业务或业务轻载的情况下执行扩容重分布。也可以考虑分段扩容重分布策略,在系统负载很小的情况下采用高并发进行扩容重分布,在系统负载大的情况下停止扩容重分布或采用低并发进行扩容重分布。 扩容后,如果集群创建新快照,将包含扩容节点上的数据。 如
管理DWS数据库连接 操作场景 数据库默认支持一定数量的连接,管理员用户可以通过管理数据库的连接,了解当前数据库的连接性能或增加连接限制,使更多用户或应用程序可以同时连接到数据库。 支持的连接数规格 集群支持的连接数与集群节点规格有关: 表1 支持连接数规格 参数 参数描述 CN连接数
SQL被大多数数据库用作查询语言。它是可移植的并且容易学习。但是每一个SQL语句必须由数据库服务器单独执行。 这意味着客户端应用必须发送每一个查询到数据库服务器、等待它被处理、接收并处理结果、做一些计算,然后发送更多查询给服务器。如果客户端和数据库服务器不在同一台机器上,所有这些会引起进程间通信并且将带来网络负担。
random_page_cost 参数说明:设置优化器计算一次非顺序抓取磁盘页面的开销。 参数类型:USERSET 取值范围:浮点型,0~10000。 默认值:4 虽然服务器允许将random_page_cost设置的比seq_page_cost小,但是物理上实际不受影响。如果所有数据库都位于随机访问内存中时
在开启并行查询后,请保证系统CPU、内存、网络、I/O等资源充足,以达到良好效果。 为了避免用户设置不合理的过大值造成性能劣化,系统会计算出该DN可用最大CPU核数,并以此来作为query_dop的上限。如果用户设置query_dop超过4并且同时超过该上限,那么系统会重置query_dop为该上限值。