检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 代码实现详解 import相关依赖包 1 2 3 from __future__ import print_function from pyspark.sql.types import StructType, StructField
withFeature("basic") // 作业特性。表示用户作业使用的Flink镜像类型。basic:表示使用DLI提供的基础Flink镜像。 .withFlinkVersion("1.12") // Flink版本。当用户设置“feature”为“basic”时,该参数生效
DLI将作业的输出数据输出到HBase中。HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。HBase支持消息数据、报表
参数 参数类型 描述 is_success Boolean 执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 请求示例 无 响应示例 无 状态码 状态码 描述 201 删除规则成功 400 请求错误。 500 内部服务器错误。
DLI将作业的输出数据输出到HBase中。HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。HBase支持消息数据、报表
理”页面,单击“配置权限”。 为对应的用户组授权: 在以下作用范围:选择“区域级项目”。 拥有以下权限:勾选2中创建的权限策略。 或者勾选系统角色“DLI Service Administrator”(权限较大,拥有DLI所有权限)也可以实现Flink作业的查看。 父主题: Flink作业咨询类
row_format 格式 ROW FORMAT DELIMITED [FIELDS TERMINATED BY separator] [COLLECTION ITEMS TERMINATED BY separator] [MAP KEYS TERMINATED BY separator]
:param str queue_name: Queue name for the job to execute :return: str """ conf_map = { "spark.dli.metaAccess.enable":
return url.hostname except Exception as e: logger.error("Failed to get bucket name from full path", e) return None
is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。示例值:true。 message 否 String 系统提示信息,执行成功时,信息可能为空。示例值:空。 database_name 否 String 被查询的数据库名称。示例值:dsstest。
参数名称 参数类型 说明 is_success Boolean 执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码。
结果行数,范围: [1, 1000]。默认值为:1000。 queue-name 否 String 指定获取作业结果的执行队列名称。若不指定则使用默认的系统队列。 带入query参数的URL示例如下: GET /v1.0/{project_id}/jobs/{job_id}/preview?p
参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 privileges 否 Array <Objects> 权限信息。具体参数请参考表3。 表3 privileges参数
参数类型 说明 is_success 是 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 是 String 系统提示信息。执行成功时,信息可能为空。 object_name 否 String 对象名称。 object_type 否 String 对象类型。
catalog类型,当前仅支持lakeformation。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 message String 系统提示信息,执行成功时,信息可能为空。 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码。
CREATE VIEW 语法 CREATE [ OR REPLACE ] VIEW view_name [(column_name [COMMENT 'column_comment'][, ...])] [COMMENT 'view_comment'] [TBLPROPERTIES
Array of strings 队列名称。 desc String 用户规则描述。 最大长度:2000 sys_desc String 系统规则描述。 create_time Long 规则创建时间。 update_time Long 规则更新时间。 请求示例 无 响应示例 无
参数 参数类型 描述 is_success Boolean 执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 请求示例 无 响应示例 无 状态码 状态码 描述 201 更新规则成功 400 请求错误。 500 内部服务器错误。
SELECT 语法 [/*+ query_rewrite_hint*/] [ WITH [ RECURSIVE ] with_query [, ...] ] SELECT [ ALL | DISTINCT ] select_expression [, ...] [ FROM from_item
Array of strings 队列名称。 desc String 用户规则描述。 最大长度:2000 sys_desc String 系统规则描述。 create_time Long 规则创建时间。 update_time Long 规则更新时间。 状态码: 400 表5 响应Body参数