LOAD数据到OBS外表报错:IllegalArgumentException: Buffer size too small. size 问题描述 在Spark SQL作业中,使用LOAD DATA命令导入数据到DLI表中时报如下错误: error.DLI.0001: Illeg
作业使用spark组件的版本号,在“feature”为“basic”或“ai”时填写,若不填写,则使用默认的spark组件版本号2.3.2。 image 否 String 自定义镜像。格式为:组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数
使用Hive语法创建DLI表 功能描述 使用Hive语法创建DLI表。DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异,详细请参考语法格式和注意事项说明。 注意事项 CTAS建表语句不能指定表的属性。 Hive DLI表不支持在建表时指定多字符的分隔符。
预留关键字 表1罗列了系统预留的关键字,以及它们在其他SQL标准中是否为预留关键字。如果需要使用这些关键字作为标识符,请加注双引号。 表1 关键字 Keyword SQL:2016 SQL-92 ALTER reserved reserved AND reserved reserved
数。 说明: 当子用户在创建作业时,子用户只能选择已经被分配的队列。 当所选择队列的剩余容量不能满足作业需求时,系统会自动扩容,将按照增加的容量计费。当队列空闲时,系统也会自动缩容。 Flink版本 具体参数说明如下: 1.10:具体SQL语法参考Flink OpenSource
以参考使用Hive语法创建OBS表。 回收站数据自动清理需要在OBS并行文件系统的桶上配置回收站数据的生命周期规则。具体步骤参考如下: 在OBS服务控制台页面左侧选择“并行文件系统”,单击对应的文件系统名称。 在“基础配置”下单击“生命周期规则”,创建或者编辑生命周期规则。 图1
Flink Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败 问题说明 Flink Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败
有访问OBS对应的桶的权限,但是Spark作业访问时报错 verifyBucketExists on XXXX: status [403] 该报错信息可能是由于OBS桶被设置为了DLI日志桶,而日志桶不能用于DLI的其他业务功能。 您可以按以下操作步骤进行查询: 检查该OBS桶是否被设置为了DLI日志桶。
更新跨源目的端源表后,未同时更新对应跨源表,导致insert作业失败怎么办? 问题现象 客户在DLI中创建了DWS跨源连接和DWS跨源表,然后对DWS中的源表schema进行更新,执行DLI作业,发现DWS中源表schema被修改为更新前的形式,导致schema不匹配,作业执行失败。
设置多版本备份数据保留周期 功能描述 在DLI数据多版本功能开启后,备份数据默认保留7天,您可以通过配置系统参数“dli.multi.version.retention.days”调整保留周期。保留周期外的多版本数据后续在执行insert overwrite或者truncate语
tableName 表名。 newTableName 新表名。 示例 ALTER TABLE table1 RENAME TO table2 系统响应 通过运行SHOW TABLES查看新的表名。 父主题: Schema演进语法说明
SQL作业访问外表报错:DLI.0001: org.apache.hadoop.security.AccessControlException: verifyBucketExists on {{桶名}}: status [403] 问题现象 SQL作业访问外表报错:DLI.0001:
参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 job_id 否 String 当“force”为“true”时返回的job_id。 queue_name
参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 plans 否 Array of Objects 定时扩缩容计划信息。具体请参考表3。 表3 plans参数
Maxwell JSON 消息解释为 INSERT/UPDATE/DELETE 消息到 Flink SQL 系统中。在许多情况下,这对于利用此功能很有用。 例如: 将数据库中的增量数据同步到其他系统 审计日志 数据库的实时物化视图 临时连接更改数据库表的历史等等。 Flink 还支持将 Flink
contact DLI service. [ERROR] Error message:Execution Timeout 问题原因 default队列是系统预置的默认公共队列,主要用来体验产品功能。当多个用户通过该队列提交作业时,容易发生流控,从而导致作业提交失败。 解决方案 建议不要使用de
由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 ALTER TABLE table1 RENAME TO table2 系统响应 通过运行SHOW TABLES查看新的表名。 父主题: Schema演进语法说明
column11 from sourceTable2 where column1 = 'xxx'); 示例5: delete from h0; 系统响应 可以确认任务状态成功,运行QUERY语句查看表中对应数据已被删除。 父主题: Hudi DML语法说明
ALTER TABLE table UNSET TBLPROPERTIES [IF EXISTS] ('comment', 'key') 系统响应 通过运行DESCRIBE命令查看表属性修改。 父主题: Schema演进语法说明
使用DataSource语法创建DLI表 功能描述 使用DataSource语法创建DLI表。DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异,详细请参考语法格式和注意事项说明。 注意事项 CTAS建表语句不能指定表的属性。 若没有指定分隔符,则默认为逗号(
您即将访问非华为云网站,请注意账号财产安全