检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
图1 Flink作业配置参数 对于Flink Jar作业,您需要在代码中开启Checkpoint,同时如果有自定义的状态需要保存,您还需要实现ListCheckpointed接口,并为每个算子设置唯一ID。
对象存储OBS源表 功能描述 文件系统连接器可用于将单个文件或整个目录的数据读取到单个表中。 当使用目录作为source路径时,对目录中的文件进行 无序的读取。
API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v3/{project_id}/quotas 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。
API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
feature 否 String 队列的镜像类型。支持以下两种类型: basic:基础型 ai:AI增强型(仅SQL的x86_64专属队列支持选择) 默认值为“basic”。 说明: AI增强型即队列加载了AI镜像,该镜像在基础镜像的基础上集成了AI相关的算法包。
IF EXISTS:所删除的函数不存在时使用,可避免系统报错。 注意事项 删除一个已存在的函数。如果要删除的函数不存在,则系统报错。 只支持HIVE语法。 示例 删除函数mergeBill。 1 DROP FUNCTION mergeBill; 父主题: 自定义函数
API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v3/{project_id}/catalogs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。
流生态作业开发指引 流生态系统基于Flink和Spark双引擎,完全兼容Flink/Storm/Spark开源社区版本接口,并且在此基础上做了特性增强和性能提升,为用户提供易用、低时延、高吞吐的数据湖探索。
推荐使用OBS并行文件系统进行存储。并行文件系统是一种高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,适用于大数据交互式分析场景。 注意事项 创建表时不会统计大小。 添加数据时会修改大小至0。 如需查看表大小可以通过OBS查看。
当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用自定义的Spark镜像。 取值范围: 无 req_body 否 String 参数解释: 请求参数详情。
认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
本章节JAVA样例代码演示将kafka数据处理后写入到OBS,具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。
操作前准备 环境要求: 确保您的系统环境满足以下要求。 操作系统:仅支持Windows 10, Windows 11版本x64位操作系统。 工具包: DLI的JDBC驱动:dli-jdbc-x.x.x.jar Fine BI安装包:Fine BI安装包。
FileSytem结果表 功能描述 FileSystem结果表用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。数据生成后,可直接对生成的目录创建非DLI表,通过DLI SQL进行下一步处理分析,并且输出数据目录支持分区表结构。
API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
上传资源包 您可以使用DLI提供的接口上传资源包,示例代码如下: 1 2 3 4 5 6 7 8 9 private static void uploadResources(DLIClient client) throws DLIException { String kind
推荐使用OBS并行文件系统进行存储。并行文件系统是一种高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,适用于大数据交互式分析场景。 注意事项 创建表时会统计大小。 添加数据时不会修改大小。 如需查看表大小可以通过OBS查看。
示例代码如下: 1 2 3 4 5 6 public static void createFlinkJobTemplate(DLIClient client) throws DLIException{ CreateFlinkJobTemplateRequest body =