检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载客户端”。界面显示“下载集群客户端”对话框。 历史版本的客户端获取方法:请选择“服务管理 > 下载客户端”,“客户端类型”选择“仅配置文件”。 登录MRS集群的Spark-sql客户端。 登录Master节点。 具体操作,请参见《MapReduce服务用户指南》中的“远程操作指南 > 登录Master节点”章节。
处理导入错误 操作场景 当数据导入发生错误时,请根据本文指引信息进行处理,错误表只能记录数据格式错误。 查询错误信息 数据导入过程中发生的错误,一般分为数据格式错误和非数据格式错误。 数据格式错误 在创建外表时,通过设置参数“LOG INTO error_table_name”,
从OBS导入ORC、CARBONDATA、PARQUET和JSON数据 OBS上的数据准备 创建外部服务器 创建外表 通过外表查询OBS上的数据 清除资源 支持的数据类型 父主题: 从OBS并行导入数据
货币类型 MONEY NUMERIC BIGINT HDFS导出数据准备:HDFS导出准备即配置MRS,具体信息可参考《MapReduce服务用户指南》。 本小节以导出ORC格式为例,PARQUET数据的导出方法与ORC格式相似。9.1.0及以上集群版本支持导出PARQUET数据。
parameter:游标参数,只能为输入参数,其格式为: parameter_name datatype select_statement:查询语句。 根据执行计划的不同,系统会自动判断该游标是否可以用于以倒序的方式检索数据行。 定义动态游标:指ref游标,可以通过一组静态的SQL语句动态的打开游标。首先定义re
隐式游标 对于非查询语句,如修改、删除操作,则由系统自动地为这些操作设置游标并创建其工作区,这些由系统隐含创建的游标称为隐式游标,隐式游标的名字为SQL,这是由系统定义的。 简介 对于隐式游标的操作,如定义、打开、取值及关闭操作,都由系统自动地完成,无需用户进行处理。用户只能通过隐式
状态码 描述 200 查询成功。 400 请求错误。 401 鉴权失败。 403 没有操作权限。 404 找不到资源。 500 服务内部错误。 503 服务不可用。 父主题: 数据库权限管理
DDL操作规范 建议3.1 DDL操作(CREATE除外)避免在业务高峰期和长事务中执行 违反规范的影响: DDL操作普遍持锁级别高,如ALTER、DROP、TRUNCATE、REINDEX、VACUUM FULL等,执行时会造成业务等锁阻塞。 高峰期执行持锁级别高的DDL操作,造成业务等锁阻塞。
SELECT操作规范 规则3.7 禁止执行不下推的SQL GaussDB(DWS)为分布式架构,SQL语句必须下推才能分利用分布式的计算资源,达到性能最优。 违反规范的影响: 不下推的SQL执行性能差,严重情况会导致CN资源瓶颈,影响整体业务。 方案建议: 不使用不下推的语法和不下推的函数,具体参考语句下推调优。
案例:选择合适的分布列 分布列用于将数据分布到不同的节点上,划分均衡可以避免数据倾斜。 在进行关联查询时,尽量选择查询中的关联条件作为分布键。当关联条件作为分布键时,相关数据都分布在DN本地,将减少DN之间的数据流动代价,提升查询速度。 优化前 将a作为t1和t2的分布列,表定义如下:
案例:调整中间表存储方式 在GaussDB(DWS)中行存表使用行执行引擎,列存表使用列执行引擎。如果一个SQL语句涉及的表既有行存表又有列存表,系统会自动选择行执行引擎。由于列执行引擎的性能(除indexscan相关的算子)比行执行引擎性能要好很多,因此一般建议使用列存表。特别是对一些
GaussDB(DWS)存储过程数组和record 数组 record 父主题: GaussDB(DWS)存储过程
建表与导入SSB数据 创建SSB目标表 连接DWS数据库后执行以下SQL语句。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
几何操作符 + 描述:平移,即从第一个参数的每个点的坐标中加上第二个point的坐标。 示例: 1 2 3 4 5 SELECT box '((0,0),(1,1))' + point '(2.0,0)' AS RESULT; result -------------
数组操作符 数组比较是使用默认的B-tree比较函数对所有元素逐一进行比较的。多维数组的元素按照行顺序进行访问。如果两个数组的内容相同但维数不等,决定排序顺序的首要因素是维数。 = 描述:两个数组是否相等 示例: 1 2 3 4 5 SELECT ARRAY[1.1,2.1,3.1]::int[]
序列号生成函数 generate_series()函数根据指定的开始值(start)、结束值(stop)和步长(step)返回一个基于系列的集合。 generate_series()函数的入参中,当step是正数且start大于stop,则返回零行。相反,当step是负数且sta
SQL语句中字段名大小写敏感问题 问题现象 某表table01中存在以大小写字母组合的名称为“ColumnA”的字段,使用SELECT语句查询该字段时,提示字段不存在,报错:column "columna" does not exist。 1 2 3 4 5 select ColumnA
数据类型转换出现报错:invalid input syntax for xxx 问题现象 某张表的某个字段类型为varchar(20),数据为5.0,在使用cast(xxx as integer)转换成整数型时报错:invalid input syntax for integer
可能没有释放占用的磁盘空间形成脏数据,导致磁盘浪费。 而在扩容时,系统会做一次重分布,集群扩容时新节点添加完成后,原节点存储的业务数据明显多于新节点,此时系统自动在所有节点重新分布保存数据。在开始做重分布时,系统会自动执行一次vacuum,从而释放了存储空间,因此,扩容后已使用存储容量减少了很多。
为什么DWS自动快照创建很慢,很长时间都没有创建好? 自动快照备份很慢,可能是由于所需备份的数据量较大。自动快照是增量备份,备份频率是可以设置的,如果一周只备份一次,当增量数据量较大时,就会出现备份慢的情况。建议您适当地增加备份频率。 其中快照备份和恢复速率如下所示(此速率为实验