检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink Jar作业设置backend为OBS，报错不支持OBS文件系统 问题现象 客户执行Flink Jar作业，通过设置checkpoint存储在OBS桶中，作业一直提交失败，并伴有报错提交日志，提示OBS桶名不合法。 原因分析 确认OBS桶名是否正确。 确认所用AKSK是否有权限。
参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。 plans 否 Array of Objects 定时扩缩容计划信息。具体请参考表3。 表3 plans参数
风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现详解 import相关依赖包 1 2 3 from __future__ import print_function from pyspark.sql.types import StructType, StructField
者环境变量中密文存放，使用时解密，确保安全。 通过DataFrame API 访问 import相关依赖 1 2 3 from __future__ import print_function from pyspark.sql.types import StructType, StructField
在配置文件或者环境变量中密文存放，使用时解密，确保安全。 通过DataFrame API 访问 import相关依赖 from __future__ import print_function from pyspark.sql.types import StructType, StructField
custom：表示使用用户自定义的Flink镜像。 flink_version 否 String Flink版本。当用户设置“feature”为“basic”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用的DLI基础Flink镜像的版本。 execution_agency_urn
auth_mode, region=region, project_id=project_id,ak=ak, sk=sk) return dli_client 参数说明与获取方式 参数说明 ak：账号 Access Key sk：账号 Secret Access Key
故障恢复 系统级故障恢复 DLI系统采用存算分离的架构，计算集群基于K8s资源调度和故障切换机制，在系统故障时，支持自动故障恢复。 作业级故障恢复 Flink、Spark作业支持配置自动重启恢复机制，在开启自动重启功能后，当作业出现异常时将自动重启恢复作业。 父主题： 安全
风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现详解 import相关依赖包 1 2 3 from __future__ import print_function from pyspark.sql.types import StructType, StructField
请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。 queue_name 否 String 新增队列的名称。 说明： 队列名称不区分大小写，系统会自动转换为小写。 请求示例 创建一个名称为queue1的通用类型的专属队
批处理作业所在队列。 image 否 String 自定义镜像。格式为：组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用自定义的Spark镜像。 req_body 否 String 请求参数详情。
存放，使用时解密，确保安全。 您还可以使用DEW管理数据源访问凭证。 操作前准备 import相关依赖包 1 2 3 from __future__ import print_function from pyspark.sql.types import StructType, StructField
.withFlinkVersion("1.12") // 指定Flink版本 )); return resp.getJob().getJobId(); } 批量运行Flink作业 功能介绍： 批量运行Flink SQL作业。
} LOG.debug(result); return result; } else { return "{}"; } } public static void main(String[]
} LOG.debug(result); return result; } else { return "{}"; } } public static void main(String[]
field each time, and the return type is a Column type. val idCol = jdbcDF.col("id") /** * The drop() method returns a DataFrame object that
ce非BIGINT类型或小于等于0时，返回报错。 source、pattern、start_position、occurrence或return_option值为NULL时，返回NULL。 示例代码 返回a。 select regexp_substr('a1b2c3', '[a-z]');
catch”异常捕获，否则可能会造成包冲突，导致函数功能异常。 环境准备 在进行UDF开发前，请准备以下开发环境。 表1 UDF开发环境 准备项 说明 操作系统 Windows系统，支持Windows7以上版本。 安装JDK JDK使用1.8版本。 安装和配置IntelliJ IDEA IntelliJ I
统一的展示和分析。 本节操作介绍Grafana连接DLI的操作步骤。 操作前准备 环境要求： 确保您的系统环境满足以下要求。 操作系统：Windows 或 Linux 操作系统结构：WindowsAMD64, LinuxAMD64, LinuxARM64, DarwinAMD64
对象存储OBS源表 功能描述 文件系统连接器可用于将单个文件或整个目录的数据读取到单个表中。 当使用目录作为source路径时，对目录中的文件进行 无序的读取。更多信息参考文件系统 SQL 连接器 语法格式 1 2 3 4 5 6 7 8 9 10 11 CREATE
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
