检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 配置前，请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统，并行文件系统（Parallel File System）是对象存储服务（Object Storage Service，OBS）提供的一种经过优化的高性能文件系统，提供毫秒级别访问时延，以及TB/s级别带
配置DLI委托访问授权。 DLI使用过程中涉及到OBS、VPC、SMN等服务交互，首次使用DLI需要用户配置委托授权，允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台，在左侧导航栏单击“全局配置 > 服务授权”。 在委托设置页面，勾选基础使用、跨源场景、运维场景的委托权限后，单击“更新委托权限”。
自定义SQL防御规则名称。 系统规则 选择防御规则，DLI支持的系统防御规则请参考DLI支持的SQL防御系统规则。 队列 选择绑定规则的队列。 描述信息 输入规则描述信息。 防御规则动作 配置当前SQL防御规则动作的阈值参数。 SQL规则支持的类型： 提示：配置系统对SQL请求满足防御规
使用标签标识云资源。包括“标签键”和“标签值”。如果您需要使用同一标签标识多种云资源，即所有服务均可在标签输入框下拉选择同一标签，建议在标签管理服务（TMS）中创建预定义标签。 具体请参考《标签管理服务用户指南》。 说明： 最多支持20个标签。 一个“键”只能添加一个“值”。 标签键：在输入框中输入标签键名称。
前提条件 配置前，请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统，并行文件系统（Parallel File System）是对象存储服务（Object Storage Service，OBS）提供的一种经过优化的高性能文件系统，提供毫秒级别访问时延，以及TB/s级别带
户可以通过SDK在自己的应用程序中集成DLI服务，实现更复杂的业务逻辑。 SQL作业 Flink OpenSource作业 Flink Jar作业 Spark作业 提供了更丰富的功能和更高的灵活性，适合需要在应用程序中深度集成DLI服务的用户。 推荐使用DLI SDK V2版本 DLI
将正在使用的SQL语句保存为模板。保存模板后，不需编写SQL语句，可通过模板直接执行SQL操作。 当前系统提供了多条标准的TPC-H查询语句模板，您可以按需选择自定义模板或系统模板创建SQL作业。 本样例演示通过一个TPC-H样例模板开发并提交SQL作业的基本流程： 操作步骤 登录DLI管理控制台。
hudi表同步Hive表的方式，在使用DLI提供的元数据服务时需要保证为hms： hms：通过hive metastore client同步元数据。 jdbc：通过hive jdbc方式同步元数据。（DLI元数据服务不支持） hiveql：执行hive ql方式同步元数据。（DLI元数据服务不支持） hms hoodie
配置DLI委托访问授权。 DLI使用过程中涉及到OBS、VPC、SMN等服务交互，首次使用DLI需要用户配置委托授权，允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台，在左侧导航栏单击“全局配置 > 服务授权”。 在委托设置页面，勾选基础使用、跨源场景、运维场景的委托权限后，单击“更新委托权限”。
function_name; 关键字 EXTENDED：显示扩展使用信息。 注意事项 返回已有函数的元数据（实现类和用法），如果函数不存在，则系统报错。 示例 查看函数mergeBill的相关信息。 1 DESCRIBE FUNCTION mergeBill; 父主题： 自定义函数
本节操作介绍PowerBI连接DLI，以访问和分析DLI中的数据的操作步骤。 操作前准备 环境要求： 确保您的系统环境满足以下要求。 操作系统：仅支持Windows 10, Windows 11版本x64位操作系统。 Power BI不支持解析复杂类型字段：Map、Struct、Array。 工具包：
仅MOR表会用到此命令。 权限需求 由DLI提供的元数据服务 SQL权限： database table 无 SELECT 细粒度权限：dli:table:select 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功，查看任务结果，查看任务日志确认有无异常。
权限需求 由DLI提供的元数据服务 SQL权限： database table 无 SELECT 细粒度权限：dli:table:select 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功，查看任务结果，查看任务日志确认有无异常。
'dew.endpoint' = 'kms.xx.com', --使用的DEW服务所在的endpoint信息 'dew.csms.secretName' = 'xx', --DEW服务通用凭据的凭据名称 'dew.csms.decrypt.fields' = 'properties
按需队列创建完成后，如果在1小时内未运行作业，系统将进行释放。 按需队列与包年/包月队列不能互相转换，如需使用包年/包月队列，直接购买即可。 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。 约束限制 表1 队列使用约束限制 限制项 说明 资源类型 队列类型： default队列：DLI服务预置了名为“
数据源为云上服务RDS、MRS时，网络互通需满足如下条件： i. CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 ii. CDM集群与云上服务同区域情况下
MRS集群请开启Kerberos认证。 在”组件管理 > Kafka > 服务配置”中查找配置项” security.protocol”，并设置为”SASL_SSL”。 登录MRS集群的Manager，下载用户凭据：”系统设置 > 用户管理 ，单击用户名后的”更多 > 下载认证凭据”。
注意事项 创建作业提交任务前，建议先开通云审计服务，用于记录与DLI服务相关的操作事件，便于日后的查询、审计和回溯。云审计服务支持的DLI操作列表详见使用CTS审计DLI服务。 关于如何开通云审计服务以及如何查看追踪事件，请参考《云审计服务快速入门》。 创建Flink Jar作业 在
DLV实时展现DLI队列处理后的结果数据。 DLV 创建大屏 步骤2：获取DMS连接地址并创建Topic 在控制台单击“服务列表”，选择“分布式消息服务DMS”，单击进入DMS服务控制台页面。在“Kafka专享版”页面找到您所创建的Kafka实例。 图2 Kafka实例 进入实例详情页面。单击“基本信息”，获取“连接地址”。
SQL作业中使用元数据服务，或者配置了HMS同步参数，在创建MOR表后，会额外同步创建：“表名_rt”和“表名_ro”两张表。查询后缀为rt的表等同于实时查询，查询后缀为ro的表代表读优化查询。例如：通过Spark SQL创建hudi表名为${table_name}， 同步元数据服务后，数据库
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
