检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示例3:使用CTAS将源表的全部数据或部分数据创建新的DLI表 示例说明:根据示例1:创建DLI非分区表中创建的DLI表table1,使用CTAS语法将table1中的数据复制到table1_ctas表中。 在使用CTAS建表的时候,可以忽略被复制的表在建表时所使用的语法,即不论在创建t
生按需计费?识别产生按需计费的原因,并重新选择正确的套餐包或保证账户中的余额充足。 未购买套餐包,在按需计费模式下账户的余额不足。 欠费影响 包年/包月 对于包年/包月DLI资源。如队列或弹性资源池,用户已经预先支付了资源费用,因此在账户出现欠费的情况下,已有的包年/包月资源仍可
queue_name 是 当前所在的队列的名称,此SQL若需使用资源将使用该队列的资源进行计算。 请求消息 表2 请求参数 参数 是否必选 参数类型 说明 sql 是 String 待执行的SQL语句。 currentdb 否 String SQL语句执行所在的数据库。当创建新数据库时,不需要提供此参数。
entrypoint 否 String 用户已上传到DLI资源管理系统的程序包名,用户自定义作业主类所在的jar包。 dependency_jars 否 Array of Strings 用户已上传到DLI资源管理系统的程序包名,用户自定义作业的其他依赖包。 示例“myGroup/test.jar
不再支持自定义。若访问ES 7.X版本时,该参数只需要填写index即可。 pushdown CSS的下压功能是否开启,默认为“true”。包含大量IO传输的表在有where过滤条件的情况下能够开启pushdown降低IO。 strict CSS的下压是否是严格的,默认为“fa
不再支持自定义。若访问ES 7.X版本时,该参数只需要填写index即可。 pushdown CSS的下压功能是否开启,默认为“true”。包含大量IO传输的表在有where过滤条件的情况下能够开启pushdown降低IO。 strict CSS的下压是否是严格的,默认为“fa
SQL使用DEW管理访问凭据 Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导,将Flink作业的输出数据写入到Mysql或DWS时,在connector中设置账号、密码等属性。 Flink Jar 使用DEW获取访问凭证读写OBS 访问OBS的AKSK为例介绍Flink
步骤6:发送数据和查询结果 登录RDS管理控制台,在“实例管理”界面,选择已创建的RDS MySQL实例,选择操作列的“更多 > 登录”,进入数据管理服务实例登录界面。 输入实例登录的用户名和密码。单击“登录”,即可进入RDS MySQL数据库并进行管理。 在已创建的数据库的操作列,单击“SQL查
Jar包文件上传的OBS桶所在的区域需与DLI的队列区域相同,不可跨区域执行操作。 (可选)可以将Jar包文件上传到DLI的程序包管理中,方便后续统一管理。 登录DLI管理控制台,单击“数据管理 > 程序包管理”。 在“程序包管理”页面,单击右上角的“创建”创建程序包。 在“创建程序包”对话框,配置以下参数。
databases:XXX". 提示配额不足,如何处理? 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求,请参考后续操作,申请扩大配额。
弹性资源池后端采用CCE集群的架构,支持异构,对资源进行统一的管理和调度。详细内容可以参考用户指南的弹性资源池。 图1 弹性资源池架构图 弹性资源池的优势主要体现在以下几个方面: 统一资源管理 统一管理内部多集群和调度作业,规模可以到百万核级别。 多AZ部署,支持跨AZ高可用。 租户资源隔离 不同
不配置表示动态导入整表数据,导入的数据需要包含分区列的数据; 如果导入时,配置所有分区信息,则表示导入数据到指定分区,导入的数据不能包含分区列的数据; 如果导入时,配置了部分分区信息,而导入的数据必须包含非指定的分区数据,不能包含指定的分区数据,否则数据导入后,非指定的数据分区字段列会存在null值等异常值。
选成了DLI的“通用队列”,应该选择DLI的“SQL队列”。 解决方案 登录DLI管理控制台,选择“队列管理”,在队列管理界面查看是否有“SQL队列”类型的队列。 是,执行3。 否,执行2购买“SQL队列”类型的队列。 选择“资源管理 > 弹性资源池”,选择已购买的弹性资源池,单
Flink作业推荐配置指导 用户在创建Flink作业时,可以通过如下配置实现流应用的高可靠性能。 用户在消息通知服务(SMN)中提前创建一个“主题”,并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知,单击链接确认订阅即可。 图1 创建主题 图2 添加订阅 登录DLI控制台,创建Flink
选择DLI的计费方式。 价格说明 计费说明 计费详情和样例 04 使用 您可以详细了解DLI管理控制台的功能,常用SQL语法。除此之外,还可以实时查看监控指标及审计日志,以便及时了解DLI的健康状态。 管理控制台 DLI作业开发流程 SQL作业编辑器 作业管理 数据管理 作业模板
bs/{job_id}/savepoint 表1 路径参数 参数 是否必选 参数类型 描述 job_id 是 String Flink作业的作业ID。 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求参数 表2 请求Body参数 参数
查看jobmanager和taskmanager的日志是否有错误抛出。日志查看操作步骤如下: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。 进入对应日期的文件夹后,找到名字中包含
是 String Flink作业的作业ID。 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 job_id 是 Long Flink作业的ID。 savepoint_path
CREATE TABLE关键字说明 参数 描述 url DWS的连接地址,需要先创建跨源连接,管理控制台操作请参考增强型跨源连接。 创建经典型跨源连接后,使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后,可以使用DWS提供的"JDBC连接字符串(内网)",或者内网地址和内网端口
判断是否为管理用户,false表示不是管理用户,true表示是管理用户。 object 否 String 该用户有权限的对象: “databases.数据库名.tables.表名”,用户在当前表上的权限。 “databases.数据库名.tables.表名.columns.列名”,用户在列上的权限。 privileges