检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Spark-submit提交Spark Jar作业 DLI Spark-submit简介 DLI Spark-submit是一个用于提交Spark作业到DLI服务端的命令行工具,该工具提供与开源Spark兼容的命令行。 准备工作 授权。 DLI使用统一身份认证服务(Identity
数学函数概览 DLI所支持的数学函数如数学函数所示。 表1 数学函数 函数 命令格式 返回值 功能简介 abs abs(DOUBLE a) DOUBLE或INT 取绝对值。 acos acos(DOUBLE a) DOUBLE 返回给定角度a的反余弦值。 asin asin(DOUBLE
如何查看DLI Spark作业的实际资源使用情况 查看Spark作业原始资源配置 登录DLI 控制台,单击左侧“作业管理”>“Spark作业”,在作业列表中找到需要查看的Spark作业,单击“作业ID”前的,即可查看对应Spark作业的原始资源配置参数。 在创建Spark作业时,
数据操作语句DML SELECT 集合操作 窗口 JOIN OrderBy & Limit Top-N 去重 父主题: Flink Opensource SQL1.10语法参考
数据操作语句DML SELECT 集合操作 窗口 JOIN OrderBy & Limit Top-N 去重 父主题: Flink Opensource SQL1.12语法参考
运维指导 SQL作业运行慢如何定位 查看DLI SQL日志 查看DLI的执行SQL记录 执行SQL作业时产生数据倾斜怎么办? DLI控制台中无法查询到对应表 OBS表压缩率较高 如何避免字符码不一致导致的乱码 删除表后再重新创建同名的表,需要对操作该表的用户和项目重新赋权 DLI
EdgeHub输入流(EOS) 功能描述 创建边缘作业source流,从EdgeHub中获取数据。用户数据写入EdgeHub中,Flink边缘作业从中读取数据,作为流计算的数据输入。 适用于物联网IOT场景,将实时流计算能力从云端延伸到边缘,在边缘快速实现对流数据实时、快速、准确
创建源表 DataGen源表 DWS源表 Hbase源表 JDBC源表 Kafka源表 MySQL CDC源表 Postgres CDC源表 Redis源表 Upsert Kafka源表 父主题: 数据定义语句DDL
创建结果表 BlackHole结果表 ClickHouse结果表 DWS结果表 Elasticsearch结果表 Hbase结果表 JDBC结果表 Kafka结果表 Print结果表 Redis结果表 Upsert Kafka结果表 FileSystem结果表 父主题: 数据定义语句DDL
创建结果表 BlackHole结果表 ClickHouse结果表 DWS结果表 Elasticsearch结果表 Hbase结果表 JDBC结果表 Kafka结果表 Print结果表 Redis结果表 Upsert Kafka结果表 FileSystem结果表 父主题: 数据定义语句DDL
日期函数 日期函数概览 add_months current_date current_timestamp date_add dateadd date_sub date_format datediff datediff1 datepart datetrunc day/dayofmonth
attrs_value_set_expr 格式 说明 语法 描述 attrs_value_set_expr 属性值集合。 sub_query 子查询语句。 ( 指定子查询表达式开始。 ) 指定子查询表达式结束。 父主题: 标示符
数学运算函数 关系运算符 所有数据类型都可用关系运算符进行比较,并返回一个BOOLEAN类型的值。 关系运算符均为双目操作符,被比较的两个数据类型必须是相同的数据类型或者是可以进行隐式转换的类型。 Flink SQL提供的关系运算符,请参见表1。 表1 关系运算符 运算符 返回类型
创建并提交Flink作业 场景描述 本章节指导用户通过API创建并运行Flink自定义作业。 约束限制 新队列第一次运行作业时,需要一定的时间,通常为6~10分钟。 涉及接口 创建弹性资源池:创建弹性资源池。 创建队列:在弹性资源池中添加队列。 上传分组资源:上传Flink自定义作业所需的资源包。
修改表分区位置(只支持OBS表) 功能描述 修改表分区的位置。 语法格式 1 2 3 ALTER TABLE table_name PARTITION partition_specs SET LOCATION obs_path; 关键字 PARTITION:分区。 LOCATION:分区路径。
数据操作语句DML SELECT 集合操作 窗口 JOIN OrderBy & Limit Top-N 去重 父主题: Flink Opensource SQL1.10语法参考
数据操作语句DML SELECT 集合操作 窗口 JOIN OrderBy & Limit Top-N 去重 父主题: Flink Opensource SQL1.12语法参考
类型转换函数 语法格式 CAST(value AS type) 语法说明 类型强制转换。 注意事项 若输入为NULL,则返回NULL。 示例 将amount值转换成整型。 insert into temp select cast(amount as INT) from source_stream;
运维指导 欠费导致权限不足 进行程序包更新操作时提示权限不足 执行SQL查询语句报错:DLI.0003: Permission denied for resource.... 已经给表授权,但是再次报错无法查询怎么办? 表继承数据库权限后,对表重复赋予已继承的权限会报错吗? 为什
CREATE VIEW语句 语法定义 CREATE VIEW [IF NOT EXISTS] view_name [{columnName [, columnName ]* }] [COMMENT view_comment] AS query_expression 功能描述