检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
增强型跨源连接权限管理 父主题: DLI权限管理
前提条件 配置前,请先购买OBS桶或并行文件系统。
DLI支持的系统权限,请参见角色与策略权限管理。 若您需要对除DLI之外的其他服务授权,IAM支持服务的所有权限请参见授权参考。 示例流程 图1 给用户授予DLI权限流程 创建用户或创建用户组 在IAM控制台创建用户或用户组。
约束限制: 无 取值范围: 无 默认取值: 无 feature 否 String 参数解释: 队列使用的镜像类型。
manager_cu_number 否 Integer 用户为作业选择的管理节点CU数量,对应为flink jobmanager数量。默认值为“1”。 parallel_number 否 Integer 用户为作业选择的并发量。
(Protected) / 评审通过(系统资源展示,只认证不鉴权) 权限管理 表10 DLI权限管理相关权限集合 操作 权限(service:resource:action) (角色与策略授权) 权限(service:resource:action) (身份策略授权) 数据赋权(用户或项目
DLI支持的系统权限,请参见角色与策略权限管理。 如果您需要对除DLI之外的其他服务授权,IAM支持服务的所有权限请参见系统权限。
在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。 在需要编辑作业对应的“操作”列中,单击“编辑”,进入作业编辑页面。 根据实际需求编辑作业。
flink.dli.job.priority=x 登录DLI管理控制台。 单击“作业管理 > Flink作业”。 选择待配置的作业,单击操作列下的编辑。 在“优化参数”中输入如下语句。先开启动态扩缩容功能,再设置作业优先级。
预览数据步骤 预览数据的入口有两个,分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面预览数据。 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需导出数据对应数据库名称,进入该数据库“表管理”页面。 单击目标表“操作”栏中的“更多”,选择“表属性”。
开启Flink作业动态扩缩容后,系统将根据Flink作业的实际资源需求动态调整资源分配。当弹性资源池中剩余的Pod资源足以支持作业的最小资源需求时,系统将自动减少作业所在节点的数量,确保作业高效运行,同时提高资源的利用效率。
根据如下公式,配置作业的“CU数量”、“管理单元”与“最大并行数”: CU数量 = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CU数 例如:CU数量为9CU,管理单元为1CU,最大并行数为16,则计算单元为8CU。
父主题: 创建并管理SQL作业模板
当前系统提供了多条标准的TPC-H查询语句模板,您可以按需选择自定义模板或系统模板创建SQL作业。 本样例演示通过一个TPC-H样例模板开发并提交SQL作业的基本流程: 操作步骤 登录DLI管理控制台。 在DLI管理控制台,选择“作业模板 > SQL模板”。
DLI权限管理概述 IAM权限管理 IAM提供权限的细粒度管理能力,允许创建和管理细粒度的权限策略。这些策略可以精确地定义用户或用户组在DLI服务中的操作权限。
pyspark样例代码 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。
解决方案 以上问题可能是由于系统未能识别新用户信息。 请按以下步骤进行排查: 请先确认下当前用户名是否存在。 如该用户存在,请重新登录管理控制台,系统才能对该用户进行授权操作。 父主题: Flink作业咨询类
前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
修改数据库所有者 修改数据库所有者的入口有两个,分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面修改数据库所有者。 在管理控制台左侧,单击“数据管理”>“库表管理”。 在“库表管理”页面选中需要修改的数据库,单击“操作”栏中的“更多 > 修改数据库”。
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 您还可以使用DEW管理数据源访问凭证。