检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
entrypoint 否 String 用户已上传到DLI资源管理系统的程序包名,用户自定义作业主类所在的jar包。 dependency_jars 否 Array of Strings 用户已上传到DLI资源管理系统的程序包名,用户自定义作业的其他依赖包。
细粒度权限管理:P公司内部有N个子部门,子部门之间需要对数据进行共享和隔离。DLI支持计算资源按租户隔离,保障作业SLA;支持数据权限控制到表/列,帮助企业实现部门间数据共享和权限管理。
管理控制台操作请参考增强型跨源连接。
在DLI管理控制台提交SQL语句读取binary类型的数据进行展示时,会对binary数据进行Base64转换。 示例 将表student中,name为Mike的数据记录查询出来,并根据字段score升序排序。
管理控制台操作请参考增强型跨源连接。
OBS表表示数据存储在用户自己账户的OBS桶中,源数据文件由用户自己管理。 DLI表相较于OBS表提供了更多权限控制和缓存加速的功能,性能相较于外表性能更好,但是会收取存储费用。 父主题: 使用咨询
用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。
Canal Format 功能描述 Canal是一个 CDC(ChangeLog Data Capture,变更日志数据捕获)工具,可以实时地将 MySQL 变更传输到其他系统。
Spark作业使用咨询 DLI Spark作业是否支持定时周期任务作业 DLI Spark不支持作业调度,用户可以通过其他服务,例如数据湖管理治理中心DataArts Studio服务进行调度,或者通过API/SDK等方式对作业进行自定义调度 。
例如:管理员用户、database的owner用户和被赋予了CREATE_ROLE权限的其他用户。 每个角色必须属于且只能属于一个database。 语法格式 1 CREATE ROLE [db_name].role_name; 关键字 无。
登录DLI 控制台,单击左侧“作业管理”>“Spark作业”,在作业列表中找到需要查看的Spark作业,单击“操作”列中的“SparkUI”。 在SparkUI页面可查看Spark作业实时运行资源。
在DLI管理控制台提交SQL语句读取binary类型的数据进行展示时,会对binary数据进行Base64转换。 示例 将表student中,name为Mike的数据记录查询出来,并根据字段score升序排序。
Canal Format 功能描述 Canal是一个 CDC(ChangeLog Data Capture,变更日志数据捕获)工具,可以实时地将 MySQL 变更传输到其他系统。
getdate getdate() STRING 获取当前系统时间。 hour hour(string date) INT 返回指定时间的小时,范围为0到23。 isdate isdate(string date , string format) BOOLEAN date:必填。
可能原因2:数据倾斜 判断当前作业运行慢是否是数据倾斜导致: 登录DLI控制台,单击“作业管理 > SQL作业”。 在SQL作业页面,在对应作业所在行,单击按钮,查看作业详情信息,获取作业ID。
message 否 String 系统提示信息,执行成功时,信息可能为空。 job_id 否 String 此SQL将生成并提交一个新的作业,返回作业ID。用户可以使用作业ID来查询作业状态和获取作业结果。
增强型跨源连接绑定队列失败 问题现象 客户创建增强型跨源连接后,在队列管理测试网络连通性,网络不通,单击对应的跨源连接查看详情,发现绑定队列失败,报错信息如下: Failed to get subnet 86ddcf50-233a-449d-9811-cfef2f603213.
使用须知 要使用DLI Python SDK访问指定服务的 API ,您需要确认已在DLI管理控制台开通当前服务并完成服务授权。
另外,用户可使用其他API来对作业进行查询和管理。具体操作有: 查询作业状态 查询作业详细信息 查询作业结果-方式一(废弃) 导出查询结果 查询所有作业 取消作业(废弃) 该API当响应消息中“job_type”为“DCL”时,为同步操作。
Flink 支持将 Debezium JSON解析为 INSERT / UPDATE / DELETE 消息到 Flink SQL 系统中。