检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL作业访问报错:File not Found 问题现象 执行SQL作业访问报错:File not Found。 可能原因 可能由于文件路径错误或文件不存在导致系统无法找指定文件路径或文件。 文件被占用。 解决措施 检查文件路径、文件名。 检查文件的路径是否正确,包括目录名称和文件名。 文件被占用 文
)*表示以cdc_order开头的所有表。 port 否 5432 Integer Postgres数据库服务的端口号。 decoding.plugin.name 否 decoderbufs String 根据Postgres服务上安装的插件确定。支持的插件列表如下: decoderbufs(默认值) wal2json
Hive源表 简介 Apache Hive 已经成为了数据仓库生态系统中的核心。 它不仅仅是一个用于大数据分析和ETL场景的SQL引擎,同样它也是一个数据管理平台,可用于发现,定义,和演化数据。 Flink与Hive的集成包含两个层面,一是利用了Hive的MetaStore作为持
如何获取项目ID? 项目ID是系统所在区域的ID。用户在调用API接口进行云资源管理(如创建集群)时,需要提供项目ID。 查看项目ID步骤如下: 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上,在下拉列表中单击“我的凭证”。 在“我的凭证”页面的项目列表中查看项目ID。
推荐使用增强型跨源连接打通DLI与数据源之间的网络。 跨源分析开发方式 表1提供DLI支持的数据源对应的开发方式。 表1 跨源分析语法参考 服务名称 开发SQL作业 开发Spark jar作业 开发Flink OpenSource SQL作业 开发Flink Jar作业 CloudTable
maxCU]), 弹性资源池minCU} > 当前实际CUs,系统自动扩容 缩容 实际CUs减少 max{(min[sum(队列maxCU),弹性资源池maxCU]), 弹性资源池minCU} < 当前实际CUs,系统自动缩容 详细的计算说明请参考图1。 弹性资源池的实际CUs的计算公式
Redis结果表 功能描述 DLI将Flink作业的输出数据输出到Redis中。Redis是一种支持Key-Value等多种数据结构的存储系统。可用于缓存、事件发布或订阅、高速队列等场景,提供字符串、哈希、列表、队列、集合结构直接存取,基于内存,可持久化。有关Redis的详细信息
管理SQL作业 在SQL作业列表页面查看作业的基本信息 DLI SQL作业管理页面显示所有SQL作业,作业数量较多时,系统分页显示,可根据需要跳转至指定页面。您可以查看任何状态下的作业。作业列表默认按创建时间降序排列。 表1 作业管理参数 参数 参数说明 队列 作业所属队列的名称。
-version,可以检查版本信息。 操作步骤 安装JDK。从Oracle官网下载并安装JDK1.8版本安装包。 配置环境变量,在“控制面板”选择“系统”属性,单击“环境变量”。 选择“系统变量”,新建 “JAVA_HOME 变量”,路径配置为JDK安装路径,例如:“D:\Java\jdk1.8.0_45”。
给新用户设置跨源认证权限时,该用户所在用户组具有Tenant Guest权限。 关于Tenant Guest权限的介绍和开通方法,详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 跨源认证用户授权 登录DLI管理控制台。 单击“跨源管理 > 跨源认证”。 选择要进行授权的跨源认证,单击操作
1 ] } 状态码 状态码如表6所示。 表6 状态码 状态码 描述 200 队列属性列表结果查询成功。 400 请求失败。 500 内部服务器错误。 错误码 调用接口出错后,将返回错误码和错误信息,更多介绍请参见错误码。 父主题: 队列相关API(推荐)
] }, "is_success": true } 状态码 状态码 描述 200 返回结果。 400 错误类型及描述。 500 内部服务器错误。 错误码 请参见错误码。 父主题: 配额相关API
参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 请求示例 设置队列的属性。 { "properties" : { "computeEngine
ncy委托。 委托权限策略请参考DLI常见场景的委托权限策略。 如果没有配置dli_data_clean_agency委托,系统会默认读取DLI上一代系统委托dli_admin_agency,但是如果您的账户未配置dli_admin_agency,那么无法继续使用当前的表生命周期功能。
e”则默认为“ErrorIfExists”。 “ErrorIfExists”:存在即报错。指定的导出目录必须不存在,如果指定目录已经存在,系统将返回错误信息,无法执行导出操作。 “Overwrite”:覆盖。在指定目录下新建文件,会删除已有文件。 with_column_header
分区。 展示的信息将包括表的基本信息和相关的文件系统信息,其中文件系统信息包括总文件数、总文件大小、最大文件长度、最小文件长度、最后访问时间以及最后更新时间。如果指定了分区,将给出指定分区的文件系统信息,而不是分区所在表的文件系统信息。 参数说明 IN | FROM schema_name
并覆盖原有的 catalog function 。 TEMPORARY SYSTEM 创建一个没有数据库命名空间的临时系统 catalog function ,并覆盖系统内置的函数。 IF NOT EXISTS 如果该函数已经存在,则不会进行任何操作。 LANGUAGE JAVA|SCALA
的调整当前作业所用的计算资源,提升资源利用率。 开启Flink作业动态扩缩容后,系统将根据Flink作业的实际资源需求动态调整资源分配。当弹性资源池中剩余的Pod资源足以支持作业的最小资源需求时,系统将自动减少作业所在节点的数量,确保作业高效运行,同时提高资源的利用效率。 当前仅Flink
参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息为空。 job_id 否 String 返回作业的ID,可用于获取作业状态和作业结果。 job_type 否 String
导出查询结果。 SQL模板相关API 包括保存SQL模板、创建作业模板等模板相关API。 Flink作业相关API 包括OBS授权给DLI服务、新建SQL作业、更新SQL作业、新建Flink自定义作业、更新Flink自定义作业、批量运行作业、查询作业列表、查询作业详情、查询作业执