检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Print结果表 功能描述 print connector用于将用户输出的数据打印到error文件或者taskmanager的out文件中,方便用户查看,主要用于代码调试,查看输出结果。 语法格式 1 2 3 4 5 6 7 create table printSink ( attr_name
userDefined源表 功能描述 您可通过编写代码实现从云生态或者开源生态获取数据,再把获取到的数据作为Flink作业的输入数据。 前提条件 自定义source类需要继承类RichParallelSourceFunction,并指定数据类型为Row。 例如自定义类MySource
注意事项 返回已有函数的元数据(实现类和用法),如果函数不存在,则系统报错。 示例 查看函数mergeBill的相关信息。 1 DESCRIBE FUNCTION mergeBill; 父主题: 自定义函数
使用场景 通常您的业务系统可能使用了华为云的多种云服务,您可以为这些云服务下不同的资源实例分别设置标签,各服务的计费详单会体现这些资源实例设置的标签。
账单上报周期 包年/包月计费模式的资源完成支付后,会实时上报一条账单到计费系统进行结算。 按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。按需计费模式产品根据使用量类型的不同,分为按小时、按天、按月三种周期进行结算,具体扣费规则可以参考相关资源的计费说明。
Print结果表 功能描述 print connector用于将用户输出的数据打印到error文件或者taskmanager的out文件中,方便用户查看,主要用于代码调试,查看输出结果。 语法格式 1 2 3 4 5 6 7 create table printSink ( attr_name
Spark作业运行大批量数据时上报作业运行超时异常错误 Spark作业程序访问大批量数据,如访问DWS大批量数据库数据时,建议设置并发数,启动多任务的方式运行,避免作业运行超时。 具体并发设置可以参考对接DWS样例代码中的partitionColumn和numPartitions相关字段和案例描述
自拓展输出流 用户可通过编写代码实现将DLI处理之后的数据写入指定的云生态或者开源生态。 语法格式 CREATE SINK STREAM stream_id (attr_name attr_type (',' attr_name attr_type)* ) WITH (
userDefined源表 功能描述 您可通过编写代码实现从云生态或者开源生态获取数据,再把获取到的数据作为Flink作业的输入数据。 前提条件 自定义source类需要继承类RichParallelSourceFunction,并指定数据类型为Row。 例如自定义类MySource
Flink 支持将 Ogg JSON 消息解析为 INSERT/UPDATE/DELETE 消息到 Flink SQL 系统中。
登录Manager界面,选择“系统 > 权限 > 用户”,选择新建用户,选择“更多 > 下载认证凭据”,保存后解压得到用户的keytab文件与krb5.conf文件。 创建MRS HBase表 创建DLI表关联MRS HBase表之前确保HBase的表是存在的。
登录MRS集群的Manager,下载用户凭据“系统设置 > 用户管理”,单击用户名后的“更多 > 下载认证凭据”,并上传到OBS中。
登录MRS集群的Manager,下载用户凭据“系统设置 > 用户管理”,单击用户名后的“更多 > 下载认证凭据”,并上传到OBS中。
登录MRS集群的Manager,下载用户凭据“系统设置 > 用户管理”,单击用户名后的“更多 > 下载认证凭据”,并上传到OBS中。
队列相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 创建队列 DLI提供创建队列的接口,您可以使用该接口创建队列。示例代码如下: 1 2 3 4 5 6 7 8 9 private static
查看计划 功能描述 执行该语句将返回该SQL语句的逻辑计划与物理执行计划。 语法格式 1 EXPLAIN [EXTENDED | CODEGEN] statement; 关键字 EXTENDED:指定该关键字后,会同时输出逻辑计划与物理执行计划。 CODEGEN:指定该关键字后,
更新管理 更新漏洞 DLI云服务通过华为云安全公告密切跟踪漏洞,如Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)、Fastjson存在反序列化漏洞(CNVD-2022-40233)等,如发现服务模块涉及漏洞影响,会迅速通过官方解决方案升级现网更新漏洞。
Hive结果表 功能描述 本节介绍利用Flink写Hive的表。Hive结果表的定义,以及创建结果表时使用的参数和示例代码。详情可参考:Apache Flink Hive Read & Write Flink 支持在 BATCH 和 STREAMING 模式下从Hive写入数据。
查看计划 功能描述 执行该语句将返回该SQL语句的逻辑计划与物理执行计划。 语法格式 1 EXPLAIN [EXTENDED | CODEGEN] statement; 关键字 EXTENDED:指定该关键字后,会同时输出逻辑计划与物理执行计划。 CODEGEN:指定该关键字后,
datetrunc datetrunc函数用于计算将日期date按照datepart指定的时间单位进行截取后的日期值。 截取datepart之前的部分,除截取的部分外自动填充为默认值。可参考示例代码。 命令格式 datetrunc (string date, string datepart