您使用数据加密服务（Data Encryption Workshop, DEW）管理数据源访问凭证，由DLI通过“委托+临时凭证”的方式安全获取数据源的访问凭据。 数据加密服务（Data Encryption Workshop, DEW）是一个综合的云上数据加密服务，为您解决数据安全、密钥安全、密钥管理复杂等问题。
操作前准备 配置前，请先购买OBS桶或并行文件系统。 大数据场景推荐使用并行文件系统，并行文件系统（Parallel File System）是对象存储服务（Object Storage Service，OBS）提供的一种经过优化的高性能文件系统，提供毫秒级别访问时延，以及TB/s级别
50%以上。 建议搭配以下服务使用 OBS，DIS，DWS，RDS 图1 游戏运营数据分析 异构数据源联邦分析 车企数字化服务转型 面临市场新的竞争压力及出行服务不断变革，车企通过构建车联云平台和车机OS，将互联网应用与用车场景打通，完成车企数字化服务转型，从而为车主提供更好的智
lustering服务来重写数据以优化Hudi数据湖文件的布局。 Clustering服务可以异步或同步运行，Clustering会添加了一种新的REPLACE操作类型，该操作类型将在Hudi元数据时间轴中标记Clustering操作。 Clustering服务基于Hudi的MV
怎样升级DLI作业的引擎版本 DLI提供了Spark和Flink计算引擎，为用户提供了一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务，当前，Flink计算引擎推荐版本：Flink 1.15，Spark计算引擎推荐版本： Spark 3.3.1。 本节操作介绍如何升级作业的引擎版本。
对象存储OBS源表 功能描述 文件系统连接器可用于将单个文件或整个目录的数据读取到单个表中。 当使用目录作为source路径时，对目录中的文件进行 无序的读取。更多信息参考文件系统 SQL 连接器 语法格式 1 2 3 4 5 6 7 8 9 10 11 CREATE
TEMPORARY：所删除的函数是否为临时函数。 IF EXISTS：所删除的函数不存在时使用，可避免系统报错。 注意事项 删除一个已存在的函数。如果要删除的函数不存在，则系统报错。 只支持HIVE语法。 示例 删除函数mergeBill。 1 DROP FUNCTION mergeBill;
件、软件、介质、虚拟机、操作系统、数据等）由客户完全控制向客户与华为云共同控制转变，这也就意味着客户需要承担的责任取决于客户所选取的云服务。如图1所示，客户可以基于自身的业务需求选择不同的云服务类别（例如IaaS、PaaS、SaaS服务）。不同的云服务类别中，每个组件的控制权不同
具体操作请参考获取Spark作业委托临时凭证用于访问其他云服务。 以root用户登录到安装DLI Livy工具的ECS服务器。 执行curl命令通过DLI Livy工具提交Spark作业请求到DLI。 ECS_IP为当前安装DLI Livy工具所在的弹性云服务器的私有IP地址。 curl --location
Flink平台的内置依赖包冲突，导致提交失败。 解决方案 首先您需要排除是否有冲突的Jar包。 含DLI Flink提供了一系列预装在DLI服务中的依赖包，用于支持各种数据处理和分析任务。 如果您上传的Jar包中包含DLI Flink运行平台中已经存在的包，则会提示Flink Jar
-dependencies.jar。 DBeaver客户端安装包： DBeaver官网提供了针对不同操作系统的客户端安装包，单击下载DBeaver访问DBeaver官网下载系统对应的DBeaver客户端安装包并完成安装 。推荐使用24.0.3版本的DBeaver。 连接信息： 表1
其中2024年5月起，新用户可以直接使用DLI服务的“查询结果写入桶”功能，无需申请。 对于2024年5月之前开通并使用DLI服务的用户，如需使用“查询结果写入桶”功能，必须提交工单申请开通试用权限。 DLI支持13种数据类型，每一种类型都可以映射成一种JDBC类型，在使用JDBC连接服务器时，请使用映射后的JAVA类型，映射关系如表1所示。
DLI访问资源。 前提条件 账号A已配置DLI云服务委托，且委托需包含DLI Datasource Connections Agency Access，具备访问和使用VPC、子网、路由、对等连接的权限。详细操作请参考配置DLI云服务委托权限。 作为资源所有者的账号A已创建共享VPC和子网，并指定资源使用者为账号B。
具体操作请参考获取Spark作业委托临时凭证用于访问其他云服务。 以root用户登录到安装DLI Livy工具的ECS服务器。 执行curl命令通过DLI Livy工具提交Spark作业请求到DLI。 ECS_IP为当前安装DLI Livy工具所在的弹性云服务器的私有IP地址。 curl --location
'collection'='xx', 'passwdauth' = 'xxx', 'encryption' = 'true' ); 文档数据库服务（Document Database Service，简称DDS）完全兼容MongoDB协议，因此语法中使用“using mongo options”。
怎样将老版本的Spark队列切换成通用型队列 当前DLI服务包括“SQL队列”和“通用队列”两种队列类型。 其中，“SQL队列”用于运行SQL作业，“通用队列”兼容老版本的Spark队列，用于运行Spark作业和Flink作业。 通过以下步骤，可以将老版本的“Spark队列”转换为新的“通用队列”。
、抛出异常或者保存脏数据。 选择“运行队列”。提交并运行作业。 登录云监控服务CES控制台，在“云服务监控”列表中找到“数据湖探索”服务。在Flink作业中找到目标作业，单击“创建告警规则”。 图6 云服务监控 图7 创建告警规则 DLI 为Flink作业提供了丰富的监控指标，用
其中2024年5月起，新用户可以直接使用DLI服务的“查询结果写入桶”功能，无需申请。 对于2024年5月之前开通并使用DLI服务的用户，如需使用“查询结果写入桶”功能，必须提交工单申请开通试用权限。 DLI支持13种数据类型，每一种类型都可以映射成一种JDBC类型，在使用JDBC连接服务器时，请使用映射后的JAVA类型，映射关系如表1所示。
数据源为云上的CSS服务时，网络互通需满足如下条件： i. CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 ii. CDM集群与云上服务同区域情况下，同虚
SQL编辑器的输入区域，修改 LOCATION，执行引擎选择Spark，配置队列，数据目录，数据库，随后点击右上角的执行按钮，提交作业。 注意：由DLI提供元数据服务时，暂不支持创建Hudi内表，即必须配置 LOCATION 指向 OBS 路径。 CREATE TABLE hudi_table (id
您即将访问非华为云网站，请注意账号财产安全
