检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
动切换到权限视角。在这两种视角下,配置的权限数据是互通的,差异仅为展示视角的不同,推荐您使用权限视角进行批量授权。 数据视角:数据视角下,系统从数据的角度为您提供权限配置入口,当前仅支持MRS数据源。数据视角配置权限后,权限会自动同步。 图5 数据视角权限配置 配置权限时,您可以
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 高级属性 迁移行为 选择写入目的端的迁移方式。
水印提取。 非结构化数据(docx、pptx、xlsx和pdf)。支持注入明水印,可在本地打开水印文件查看效果。 结构化数据 *水印内容 系统会将水印标识嵌入到数据表中,标识长度不超过16个字符即可。 *数据选择 结构化数据仅支持csv、xml和json格式文件。 *选择注入字段
Oracle数据源如何开通归档日志、查询权限和日志解析权限? 问题描述 Oracle数据源默认权限无法正常执行实时处理集成作业。 原因分析 Oracle库需要开启归档日志,归档日志建议至少保留三天。 Oracle表没有表查询权限和日志解析权限。 解决方案 开启归档日志。 以sysdba身份登录Oracle数据库。
以实现HBase/CloudTable的增量迁移。 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业,源连
以实现HBase/CloudTable的增量迁移。 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业,源连
参数 说明 取值样例 基本参数 DIS通道 DIS的通道名。 dis 是否持久运行 用户自定义是否永久运行。设置为长久运行的任务,如果DIS系统发生中断,任务也会失败结束。 是 DIS分区ID DIS分区ID,该参数支持输入多个分区ID,使用英文逗号(,)分隔。 0,1,2 偏移量参数
HBase连接 介绍 通过HBase连接,可以对MRS、FusionInsight HD、Apache Hadoop的HBase抽取、加载数据。 连接样例 { "links": [ { "link-config-values": { "configs":
名。例如,脚本变量定义中设置的格式为${dlf.},参数名称需要设置为dlf.xxx。 参数值 是 参数值当前支持常量和EL表达式,不支持系统函数。例如支持123,abc;如果参数是字符串类型需要加上英文的双引号(""),如"05"。 关于EL表达式的使用,请参见表达式概述。 描述
日(yyyyMMdd)、月(yyyyMM)、年(yyyy),自动建表时会在Hudi表默认创建一个cdc_partition_key的字段,系统会根据配置的时间转换格式将源端字段(src_col_1)的值格式化后写入cdc_partition_key中。 自定义分区不支持times
总览统计信息 功能介绍 总览统计信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/definitions/statistic 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
业,也可以实现增量数据迁移。本文以DWS导入到OBS为例,介绍DLF配合CDM实现增量迁移的流程 通过CDM节点批量创建分表迁移作业 业务系统中,数据源往往会采用分表的形式,以减少单表大小,支持复杂的业务应用场景。在这种情况下,通过CDM进行数据集成时,需要针对每张表创建一个数据
删除数据标准模板 功能介绍 删除数据标准模板。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/design/standards/templates 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
删除数据连接 功能介绍 删除数据连接。 调用方法 请参见如何调用API。 URI DELETE /v1/{project_id}/data-connections/{data_connection_id} 表1 路径参数 参数 是否必选 参数类型 描述 data_connection_id
Kafka连接 介绍 通过Kafka连接器可以与开源的Kafka数据源建立连接,并按照用户指定配置将Kafka中的数据迁移到其它数据源。目前仅支持从Kafka导出数据。 连接样例 { "links": [ { "link-config-values":
获取技术资产统计信息 功能介绍 获取技术资产统计信息。 调用方法 请参见如何调用API。 URI GET /v3/{project_id}/asset/statistic/assets/technical-assets 表1 路径参数 参数 是否必选 参数类型 描述 project_id
搜索查询标签分页展示(邀测) 功能介绍 搜索查询标签分页展示,该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/datamap/tags/search 表1 路径参数 参数 是否必选 参数类型
SDI:Source Data Integration,又称贴源数据层。SDI是源系统数据的简单落地。 DWI:Data Warehouse Integration,又称数据整合层。DWI整合多个源系统数据,对源系统进来的数据进行整合、清洗,并基于三范式进行关系建模。 维度建模:在DWR层
创建主题(新) 功能介绍 创建主题(新)。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/design/subjects 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
更新数据连接信息 功能介绍 更新数据连接信息。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/data-connections/{data_connection_id} 表1 路径参数 参数 是否必选 参数类型 描述 data_connection_id