检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ion: Buffer size too small. size 问题描述 在Spark SQL作业中,使用LOAD DATA命令导入数据到DLI表中时报如下错误: error.DLI.0001: IllegalArgumentException: Buffer size too
参数解释: 用户已上传到DLI资源管理系统的资源包名,用户自定义作业的依赖文件。 取值范围: 无 executor_number 否 Integer 参数解释: 作业使用计算节点个数。 取值范围: 无 executor_cu_number 否 Integer 参数解释: 计算节点CU数。
执行查询语句报错:There should be at least one partition pruning predicate on partitioned table XX.YYY 上述报错信息说明:partitioned table XX.YYY执行查询时,其查询条件中未使用其表分区列。
VARCHAR, user_id VARCHAR, user_name VARCHAR, area_id VARCHAR, primary key(order_id)); 在Postgre中执行下列SQL语句。 ALTER TABLE test.cdc_order REPLICA
file_format [TBLPROPERTIES (key = value)] [AS select_statement]; row_format: : SERDE serde_cls [WITH SERDEPROPERTIES (key1=val1, key2=val2
driverCores:2; executorCores:1; driverMemory:7G; executorMemory:4G; numExecutor:6。 B:物理资源:16核64G内存 driverCores:2; executorCores:2; driverMemory:7G;
Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败 问题说明 Flink Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败 问题根因
HAVING reserved reserved IN reserved reserved INNER reserved reserved INSERT reserved reserved INTERSECT reserved reserved INTO reserved reserved IS
有访问OBS对应的桶的权限,但是Spark作业访问时报错 verifyBucketExists on XXXX: status [403] 该报错信息可能是由于OBS桶被设置为了DLI日志桶,而日志桶不能用于DLI的其他业务功能。 您可以按以下操作步骤进行查询: 检查该OBS桶是否被设置为了DLI日志桶。
insert作业失败怎么办? 问题现象 客户在DLI中创建了DWS跨源连接和DWS跨源表,然后对DWS中的源表schema进行更新,执行DLI作业,发现DWS中源表schema被修改为更新前的形式,导致schema不匹配,作业执行失败。 原因分析 DLI跨源表执行insert操作
且不能以下划线开头。 target_cu 否 Integer 队列扩缩容计划CU的目标值。 start_hour 否 Integer 队列扩缩容计划起始小时时间(24小时制)。 start_minute 否 Integer 队列扩缩容计划的起始分钟时间。 repeat_day 是
mysqlCdcSource( order_id string, order_channel string, order_time string, pay_amount double, real_pay double, pay_time string, user_id string
配置参数: hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... RENAME语法用于修改表名。 命令语法 ALTER TABLE tableName RENAME TO newTableName 参数描述 表1 RENAME参数描述
AccessControlException: verifyBucketExists on {{桶名}}: status [403] 问题现象 SQL作业访问外表报错:DLI.0001: org.apache.hadoop.security.AccessControlException: verifyBucketExists
Not allowed to create a permanent view 问题描述 使用Spark 3.3.1客户端创建子查询带聚合函数的视图,在数据写入报错,提示“Not allowed to create a permanent view without explicitly
Timeout异常。异常日志参考如下: [ERROR] Execute DLI SQL failed. Please contact DLI service. [ERROR] Error message:Execution Timeout 问题原因 default队列是系统预置的默认公共队列,主要
示“xxx dli datasource v2 tables is only supported in spark3.3 or later version.”怎么办? 使用default创建DataSource表时引擎版本不低于Spark 3.3.1,如果引擎版本低于Spark 3
所需权限 SQL权限 表2 ALTER TABLE所需权限列表 权限描述 表的ALTER权限 细粒度权限:dli:table:alter。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 ALTER TABLE table1 RENAME
'topic' = '<yourTopic>', 'properties.group.id' = '<yourGroupId>', 'properties.bootstrap.servers' = '<yourKafkaAddress1>:<yourKafkaPort>
delete from h0 where column1 IN (select column11 from sourceTable2 where column1 = 'xxx'); 示例5: delete from h0; 系统响应 可以确认任务状态成功,运行QUERY语句查看表中对应数据已被删除。