检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作步骤 登录DLI管理控制台。 在左侧导航栏中，选择“跨源管理 > 增强型跨源 ”。 选择待操作的增强型跨源连接，单击操作列的“更多 > 权限管理”。 授权： 在权限管理页面，权限设置选择“授权”。 输入项目ID。 单击“确定”，授予该项目弹性资源池的操作权限。
此外DLI还提供了作业管理功能，包括编辑、启动、停止、删除作业，以及导出和导入作业。您可以利用这些功能来定期维护和管理作业。 父主题： DLI产品咨询类
在DLI管理控制台提交Flink作业 Flink作业概述 创建Flink OpenSource SQL作业 创建Flink Jar作业 配置Flink作业权限 管理Flink作业 管理Flink作业模板 添加Flink作业标签
父主题： DLI权限管理类
在DLI管理控制台提交SQL作业 创建并提交SQL作业 典型场景示例：使用Spark SQL作业分析OBS数据 导出SQL作业结果 配置SQL防御规则 设置SQL作业优先级 查询SQL作业日志 管理SQL作业 查看SQL执行计划 创建并管理SQL作业模板
登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击作业名称，选择“运行日志”。 控制台只展示最新的运行日志，更多日志信息请查看保存日志的OBS桶。 在日志中搜索依赖包信息。 在日志中搜索“Classpath:”即可查看相关依赖包信息。
在DLI管理控制台提交Spark作业 创建Spark作业 典型场景示例：使用Spark Jar作业读取和查询OBS数据 设置Spark作业优先级 查询Spark作业日志 管理Spark作业 管理Spark作业模板
使用DLI的跨源认证管理数据源访问凭证 跨源认证概述 创建CSS类型跨源认证 创建Kerberos跨源认证 创建Kafka_SSL类型跨源认证 创建Password类型跨源认证 跨源认证权限管理 父主题： 配置DLI读写外部数据源数据
创建数据目录、数据库和表 了解数据目录、数据库和表 在DLI控制台创建数据目录、数据库和表 查看表元数据 在DLI控制台管理数据目录 在DLI控制台管理数据库资源 在DLI控制台管理表资源 创建并使用LakeFormation元数据
说明： 如果选择分组，则对应的权限管理为对应程序包组的权限管理。 如果选择不分组，则对应的权限管理为对应程序包的权限管理。 程序包组和程序包权限管理请参考程序包权限管理。 标签 使用标签标识云资源。包括标签键和标签值。
关于如何设置企业项目请参考《企业管理用户指南》。 说明： 开通了企业管理服务的用户可设置该参数绑定指定的项目。 platform 否 String 队列计算资源的cpu架构。 x86_64 aarch64 默认值为x86_64。
登录DLI管理控制台，选择“数据管理 > 程序包管理”。 在“程序包管理”页面，单击程序包“操作 ”列中的“更多 > 修改所有者”。 如果该程序包进行过分组设置，选择“组”或者“程序包”进行修改。
配置程序包组或程序包权限 在“程序包管理”页面，选择要授权的程序包组或程序包，单击“操作”列中的“权限管理”。 进入“用户权限信息”页面，单击页面右上角“授权”新增授权用户，并选择对应的权限。 如果创建程序包时选择了分组，则权限管理为对应程序包组的权限管理。
前提条件 配置前，请先购买OBS桶或并行文件系统。
manager_cu_number 否 Integer 用户为作业选择的管理节点CU数量，对应为flink jobmanager数量。默认值为“1”。 parallel_number 否 Integer 用户为作业选择的并发量。
预览数据步骤 预览数据的入口有两个，分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面预览数据。 在管理控制台左侧，单击“数据管理”>“库表管理”。 单击需导出数据对应数据库名称，进入该数据库“表管理”页面。 单击目标表“操作”栏中的“更多”，选择“表属性”。
根据如下公式，配置作业的“CU数量”、“管理单元”与“最大并行数”： CU数量 = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CU数 例如：CU数量为9CU，管理单元为1CU，最大并行数为16，则计算单元为8CU。
当前系统提供了多条标准的TPC-H查询语句模板，您可以按需选择自定义模板或系统模板创建SQL作业。 本样例演示通过一个TPC-H样例模板开发并提交SQL作业的基本流程： 操作步骤 登录DLI管理控制台。 在DLI管理控制台，选择“作业模板 > SQL模板”。
表2 Flink作业基本信息 参数 参数说明 ID 所提交Flink作业的ID，由系统默认生成。 名称 所提交Flink作业的名称。 类型 所提交Flink作业的类型。
pyspark样例代码 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
