检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
普通API支持定义变量,条件分支、并行处理和输出处理暂不支持。表达式标准写法为:${节点编码|变量名},定义方法如表2所示。 节点编码:由系统动态分配,不可改动。您可以在API编排的画布中,单击节点后在节点详情中查看节点编码,并支持通过复制节点编码。 图1 查看节点编码 变量名:
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 是否压缩 导入数据到DW
使用连接串模式填写对应集群的IP和端口进行连接配置。 MRS集群名 是 选择所属的MRS集群。仅支持连接MRS云服务,自建Hadoop集群必须在纳管到MRS云服务后才可以选择。系统会显示所有项目ID和企业项目相同的MRS集群。 说明: 连接MRS集群的组件时,需要在MRS集群安全组的出方向规则中放通对应组件的端口,各
SDI:Source Data Integration,又称贴源数据层。SDI是源系统数据的简单落地。 DWI:Data Warehouse Integration,又称数据整合层。DWI整合多个源系统数据,对源系统进来的数据进行整合、清洗,并基于三范式进行关系建模。 维度建模:在DWR层
ATTRIBUTE: 属性自定义项 SUBJECT: 主题自定义项 METRIC: 业务指标自定义项 ordinal 否 Integer 系统排序字段,新建、修改时不需要填写。 description 否 String 自定义项描述。 响应参数 状态码:200 表5 响应Body参数
200 Success,返回data数据是该目录及其子目录下的全部数据标准集合,以及总数。 400 失败,用户请求非法。 401 失败,用户身份认证失败。 403 失败,用户无权限调用此API。 404 失败,用户请求API不存在。 父主题: 数据标准接口
业,也可以实现增量数据迁移。本文以DWS导入到OBS为例,介绍DLF配合CDM实现增量迁移的流程 通过CDM节点批量创建分表迁移作业 业务系统中,数据源往往会采用分表的形式,以减少单表大小,支持复杂的业务应用场景。在这种情况下,通过CDM进行数据集成时,需要针对每张表创建一个数据
级规则,Cross-field表示跨字段级规则,Customize表示自定义规则。 system_template Boolean 是否为系统模板。 sql_info String 定义关系。 abnormal_table_template String 异常表模板。 result_description
失败重试:选择“是”,开启所选择作业中所有节点的失败重试功能。 超时重试:根据实际需要选择,如果作业节点配置了超时时间,则该节点执行超时后,系统支持重试。 最大重试次数:根据实际需要选择,过多重试可能会导致下游作业运行时间被压缩。 重试间隔时间(秒):根据实际需要选择,过大重试间隔时间可能会导致下游作业运行时间被压缩。
用户名:选择KERBEROS鉴权时,需要配置MRS Manager的用户名和密码。 从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 密码:访问MRS Manager的用户密码。 认证类型:访问MRS的认证类型。 运行模式:选择HDFS连接的运行模式。 创建OBS连接
说明: 数据安全组件不支持连接串模式的DWS连接。 DWS集群名 是 “手动”选择为“集群名模式”时需要配置本参数。 选择DWS集群,系统会显示所有项目ID和企业项目相同的DWS集群。 IP或域名 是 “手动”选择为“连接串模式”时需要配置本参数。 表示通过内部网络访问集群数
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 TBL_X 自动创表 只有当源端为关
下线及删除原子指标的前提是无依赖引用,即无衍生指标引用。 审核通过后,完成原子指标的下线。 删除 勾选需要删除的原子指标,单击上方“更多 > 删除”,系统弹出“删除”对话框。 单击“是”。 函数说明 新建原子指标时,需要按照函数设定表达式。以聚合函数的部分函数为例,函数说明如表3所示: 表3
在添加的新字段后面,单击添加字段转换器。 图3 添加字段转换器 创建“表达式转换”的转换器,表达式输入“1.0”,然后保存。 图4 配置字段转换器 二进制格式 如果想要在文件系统间按原样复制文件,则可以选择二进制格式。二进制格式传输文件到文件的速率高、性能稳定,且不需要在作业第二步进行字段匹配。 文件传输的目录结构
不支持同步视图、外键、存储过程、触发器、函数、事件、虚拟列、唯一约束和唯一索引。 不支持同步无日志表(UNLOGGED TABLE)、临时表、系统模式和系统表。 自动建表支持同步表结构、普通索引、约束(主键、空、非空)、注释。 注意事项 除了数据源版本、连接账号权限及同步对象范围外,您还需要注意的事项请参见下表。
选择需要授权的用户。用户列表来自于工作空间用户。 用户组 选择需要授权的用户组。用户组列表来自于工作空间用户组。 角色 选择需要授权的角色。角色列表来自于系统预置角色和自定义角色。 图2 新建目录权限策略 相关操作 编辑策略:在目录权限页面,单击对应策略操作栏中的“编辑”,即可编辑策略。 删除策
(可选)创建概念实体的关联关系。 单击“新建”,弹出“关联关系”页面。 配置关联关系的参数。 表2 配置关联关系参数 参数名称 说明 名称 关联关系的名称 源模型 系统默认。源模型就是刚创建的概念实体。 源对目标 表示源模型对应目标模型。 :1个,源模型只与一个目标模型有关系。 :0个或1个,源模型与目标
可选,有Body体的情况下必选,没有Body体则无需填写和校验。 表3 请求Body参数 参数 是否必选 参数类型 描述 app_name 否 String 调用审核系统的应用名称,开发人员自己定。 approver_name 是 String 审批人姓名,需要被添加到相应的空间中,并且该用户须是管理员、开发者,或者是有审批权限的角色。
在添加的新字段后面,单击添加字段转换器。 图3 添加字段转换器 创建“表达式转换”的转换器,表达式输入“1.0”,然后保存。 图4 配置字段转换器 二进制格式 如果想要在文件系统间按原样复制文件,则可以选择二进制格式。二进制格式传输文件到文件的速率高、性能稳定,且不需要在作业第二步进行字段匹配。 文件传输的目录结构
mysql.com/archives/c-j/,建议5.1.48版本。 说明: 驱动文件所在的OBS路径中不能包含中文。 出于安全考虑,当前系统会对所选择的驱动文件校验其SHA512值和字节大小。如不在允许清单中,则会提示报错,推荐您使用建议版本的驱动文件,或联系客服或技术支持人员。