检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ThreadPoolExecutor.ru
按照存储在DLI服务中的表数据存储量(单位为“GB”)收取存储费用。 在估算存储费用时,请特别注意,DLI采用压缩存储,通常能压缩到原文件大小的 1/5 。DLI存储按照压缩后的大小计费。 如果数据存储在OBS服务中,则DLI服务不收取存储费用,对应的费用由OBS服务收取。 扫描量计费
仅状态为“已成功”的SQL作业支持查看SQL执行计划。 请确保已授权OBS桶的操作权限给DLI服务,用于保存用户作业的SQL执行计划。 SQL执行计划保存在DLI作业桶中付费存储,系统不会主动删除,建议您配置桶生命周期,通过配置指定规则来实现定时删除或迁移桶中不再使用的SQL执行计划。了解配置DLI作业桶。
odie.payload.ordering.field为preCombineField的值。 使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi DML语法说明
CONSTRAINT所需权限列表 权限描述 表的ALTER权限 细粒度权限:dli:table:alter。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 alter table delta_table0 drop constraint const_price;
执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 请求示例 无 响应示例 无 状态码 状态码 描述 201 创建规则成功 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。
配置DLI委托访问授权。 DLI使用过程中涉及到OBS、VPC、SMN等服务交互,首次使用DLI需要用户配置委托授权,允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台,在左侧导航栏单击“全局配置 > 服务授权”。 在委托设置页面,勾选基础使用、跨源场景、运维场景的委托权限后,单击“更新委托权限”。
通用队列操作OBS表如何设置AK/SK (推荐)方案1:使用临时AK/SK 建议使用临时AK/SK,获取方式可参见统一身份认证服务_获取临时AK/SK。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 表1
执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 请求示例 无 响应示例 无 状态码 状态码 描述 201 删除规则成功 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。
参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 connections 否 Array of Objects 跨源连接信息列表,详细信息请参考表3。
注意事项 创建作业提交任务前,建议先开通云审计服务,用于记录与DLI服务相关的操作事件,便于日后的查询、审计和回溯。云审计服务支持的DLI操作列表详见使用CTS审计DLI服务。 关于如何开通云审计服务以及如何查看追踪事件,请参考《云审计服务快速入门》。 创建Flink OpenSource
MRS集群请开启Kerberos认证。 在”组件管理 > Kafka > 服务配置”中查找配置项” security.protocol”,并设置为”SASL_SSL”。 登录MRS集群的Manager,下载用户凭据:”系统设置 > 用户管理 ,单击用户名后的”更多 > 下载认证凭据”。
String 系统提示信息,执行成功时,信息可能为空。 请求示例 无 响应示例 { "is_success": true, "message": "" } 状态码 状态码如表3所示。 表3 状态码 状态码 描述 200 取消成功。 400 请求错误。 500 内部服务器错误。 错误码
String 系统提示信息,执行成功时,信息可能为空。 请求示例 无 响应示例 { "is_success": true, "message": "" } 状态码 状态码如表3所示。 表3 状态码 状态码 描述 200 删除成功。 400 请求错误。 500 内部服务器错误。 错误码
打开Windows操作系统“开始”菜单,输入cmd命令。 在命令行窗口,进入“dli-sdk-python-<version>.zip”解压目录下的windows目录。例如:“D:\tmp\dli-sdk-python-1.0.8”。 执行如下命令安装DLI服务Python SDK,安装过程中会自动下载第三方依赖库。
怎样获取DLI作业样例(Demo) 为了方便用户更好地使用DLI,DLI服务提供了供作业开发的Demo样例,您可以通过DLI样例代码获取。 该样例代码的目录内容介绍如下: dli-flink-demo:开发Flink作业时的样例代码参考。例如,样例代码实现读取Kafka源表数据写
由DLI提供的元数据服务 SQL权限: database table 无 INSERT_INTO_TABLE 细粒度权限:dli:table:insertIntoTable 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以确认任
配置DLI委托访问授权。 DLI使用过程中涉及到OBS、VPC、SMN等服务交互,首次使用DLI需要用户配置委托授权,允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台,在左侧导航栏单击“全局配置 > 服务授权”。 在委托设置页面,勾选基础使用、跨源场景、运维场景的委托权限后,单击“更新委托权限”。
要区别在于支持的表数据存储格式范围、支持的分区数等有差异,详细请参考语法格式和注意事项说明。 推荐使用OBS并行文件系统进行存储。并行文件系统是一种高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,适用于大数据交互式分析场景。 注意事项 创建表时不会统计大小。
list_queues() except DliException as e: print(e) return for queue in queues: print(queue.name) 完整样例代码和依赖包说明请参考:Python