检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS Browser+提供强大的拖拽上传功能,您可以将本地的一个或多个文件或者文件夹拖拽到对象存储的对象列表或者并行文件系统的对象列表中;同时您也可以将文件或文件夹拖拽到指定的目录上,这样可以上传到指定的目录中。
Flink Jar 使用DEW获取访问凭证读写OBS 操作场景 DLI将Flink Jar作业的输出数据写入到OBS时,需要配置AKSK访问OBS,为了确保AKSK数据安全,您可以通过数据加密服务(Data Encryption Workshop,DEW)、云凭据管理服务(Cloud
MySql CDC 功能描述 MySQL的CDC源表,即MySQL的流式源表,会先读取数据库的历史全量数据,并平滑切换到Binlog读取上,保证数据的完整读取。 表1 支持类别 类别 详情 支持表类型 源表 前提条件 MySQL CDC要求MySQL版本为5.6,5.7或8.0.x
parse_url parse_url函数用于返回给定URL的指定部分,partToExtract的有效值包括HOST,PATH, QUERY, REF, PROTOCOL, AUTHORITY,FILE和USERINFO。 例如:parse_url('http://facebook.com
source.id, comb = h0.comb + source.comb, price = source.price * 2 when matched and flag = true then delete when not matched then insert *; 系统响应
message 是 String 系统提示信息,执行成功时,信息可能为空。 column_count 是 Integer 表的总列数。 columns 是 Array of Objects 表的列信息,包含列名称、类型和描述信息。具体参数详见表3。
弹性资源池缩容 系统默认最小CU值为16CU,即当弹性资源池的规格为16CU时,不能进行手动缩容。 在DLI管理控制台左侧,选择“资源管理 > 弹性资源池”。 选择需要缩容的弹性资源池,单击“操作”列“更多”中的“包周期CU变更”。
rank rank函数用于计算一个值在一组值中的排位。如果出现并列的情况,RANK函数会在排名序列中留出空位。 使用限制 窗口函数的使用限制如下: 窗口函数只能出现在select语句中。 窗口函数中不能嵌套使用窗口函数和聚合函数。 窗口函数不能和同级别的聚合函数一起使用。 命令格式
message 否 String 系统提示信息,执行成功时,信息可能为空。 count 否 Long 总共条数。 elastic_resource_pools 否 Array of Objects 弹性资源池信息。详细请参考表4。
row_number row_number函数用于计算行号。从1开始递增。 使用限制 窗口函数的使用限制如下: 窗口函数只能出现在select语句中。 窗口函数中不能嵌套使用窗口函数和聚合函数。 窗口函数不能和同级别的聚合函数一起使用。 命令格式 row_number() over
Raw Format 功能描述 Raw format 允许读写原始(基于字节)值作为单个列。 注意: 这种格式将 null 值编码成 byte[] 类型的 null。这样在 upsert-kafka 中使用时可能会有限制,因为 upsert-kafka 将 null 值视为 墓碑消息
使用Flink Jar连接开启SASL_SSL认证的Kafka 概述 本节操作介绍使用Flink Jar连接开启SASL_SSL认证的Kafka的操作方法。 如需使用Flink OpenSource SQL连接开启SASL_SSL认证的Kafka,请参考Flink SQL语法参考-
insert into test_parquet_hw select * from test_csv_hw 检查结果,如图5所示,系统自动创建了一个文件用于保存结果。 图5 保存Parquet数据
如果作业在不可删除状态,用户删除作业时,系统会先停止作业,停止作业权限说明可以参考•停止作业,并且用户还需要拥有作业的删除权限。 创建作业 子用户默认不能创建作业。 创建作业时,用户需要拥有创建作业的权限。
详细安装操作指导请参考安装Superset 以Docker安装Superset为例: 安装Docker,确保当前主机系统上安装了Docker。
同时,按需计费的队列,在空闲1小时后(队列空闲是指该队列上没有正在运行的作业),系统会自动释放计算资源,再次使用时,需要重新分配计算资源,可能会耗费5~10min时间。使用包年/包月计费模式则可避免这种情况,节省等待时间。
500 InternalServerError 系统异常,表明服务端能被请求访问到,但是不能理解用户的请求。 501 Not Implemented 服务器不支持请求的功能,无法完成请求。
trans_array trans_array函数用于将一行数据转为多行的UDTF,将列中存储的以固定分隔符格式分隔的数组转为多行。 使用限制 所有作为key的列必须位于在前面,而要转置的列必须放在后面。 在一个select中只能有一个UDTF,不可以再出现其他的列。 不可以与group
DLI连接方式 DLI支持使用多种客户端连接方式,以满足不同用户的需求和使用场景。本节操作介绍DLI支持的连接方式和具体的应用场景。 表1 DLI连接方式 连接方式 说明 支持提交的作业类型 应用场景 操作指导 DLI管理控制台方式 通过DLI管理控制台,您可以直观地管理和操作DLI
自定义函数类型推导 操作场景 类型推导包含了验证输入值、派生参数和返回值数据类型。从逻辑角度看,Planner需要知道数据类型、精度和小数位数;从 JVM 角度来看,Planner 在调用自定义函数时需要知道如何将内部数据结构表示为JVM对象。 Flink 自定义函数实现了自动的类型推导提取