检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在IAM服务控制台中,单击“委托”,找到系统默认创建的dlg_agency委托。 图1 dlg_agency委托 单击dlg_agency委托后的“授权”进入授权页面,在策略列表上方输入“DataArts Agency”,找到系统预置的11条最小化委托权限策略,并在全选后单击“下一步”。
0个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 基础与网络连通配置 主机地址 是 Linux操作系统主机的IP地址。 请参考查看云服务器详细信息获取。 绑定Agent 是 选择CDM集群,CDM集群提供Agent。如果没有可用的CDM集群,请参考创建CDM集群进行创建。
简易变量集提供了一系列自定义的变量,自定义参数会根据任务调度的业务日期、计划时间及参数的取值格式自动替换为具体的值,实现在任务调度时间内参数的动态替换。 当前系统支持业务日期、计划时间、业务id三类参数的自定义。 业务日期是指在调度时间内,任务预期调度运行时间的前一天(即昨天),精确到天。业务日期可
动态水印指在数据的访问过程中,动态地在数据的查询访问请求返回结果集中注入水印的方式。本章主要介绍如何实现数据开发动态水印功能,最终在数据开发组件中转储或下载敏感数据时,系统动态注入数据水印。 在数据安全组件开启数据开发动态水印功能并创建动态水印策略后,当策略中指定的用户组或角色在数据开发组件中转储或下载敏感数
模型设计业务流程步骤:此处勾选的流程,在关系建模或维度建模的对象发布上线时,系统会依次自动执行。一般建议全部勾选。 创建表:当数据架构中的表发布并通过审核后,系统将自动在对应的数据源中创建相应的物理表。在表删除时,系统也会自动删除物理表。 同步技术资产:关系建模或维度建模中的表发布后,同
化查看数据血缘关系。 约束限制 数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。 对于同一版本的数据开发作业,系统基于最新的作业调度实例生成数据血缘关系后,在冷却期(默认为48小时)内不会再次更新数据血缘关系。如需更新,需要等待冷却期结束或将数据开发作业再次提交版本后调度。
及增量同步等不同场景的数据迁移。 通过购买一个按需计费方式的数据集成资源组增量包,系统会按照您所选规格自动创建一个数据集成实时作业所需的资源组。 通过购买一个套餐包方式的数据集成资源组增量包,系统不自动创建新的资源组,而是在生效期内的每个计费月内按月提供745小时/月的使用时长,在绑定区域为在DataArts
中心”一键告警开关。 配置所有资源告警 用户可以对实时处理集成作业的监控指标设置告警策略。当监控指标在一定周期内多次触发告警策略的阈值时,系统将向用户发送告警通知。具体操作请参见创建告警规则和通知。 告警类型选择“指标”,云产品选择“数据治理中心-DataArts Studio作业”。
间进行作业调度。 是否空跑 如果勾选了空跑,任务不会实际执行,将直接返回成功。 任务组 选择已配置好的任务组。配置方法请参见配置任务组。 系统默认“不选择任务组”。 任务组配置好后,可以更细粒度地进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
为按月购买时,自动续费周期为1个月;购买时长为按年购买时,自动续费周期为1年。 单击“立即购买”,确认规格后提交订单。 购买套餐包成功后,系统配额会在默认规格基础上,增加增量包的规格。 父主题: 购买DataArts Studio增量包
BINARY_FILE:二进制格式,不解析文件内容直接传输,CDM会原样写入文件,不改变原始文件格式。 当选择“BINARY_FILE”时,源端也必须为文件系统。 toJobConfig.lineSeparator 否 String 行分割符号,当“toJobConfig.outputFormat
您可以通过以下两种方式导出质量报告: 若使用局点有OBS服务,系统默认导出到关联的OBS桶中。 由于质量报告数据量较大,单个导出文件字段条数最多为2000条,因此OBS桶里或许会有多个导出文件。 导出的报告仅限当前工作空间内。 若使用局点没有OBS服务,系统默认导出到本地。 在DataArts St
hive类型的资源。 作业调度 支持单次调度、周期调度和事件驱动调度,周期调度支持分钟、小时、天、周、月多种调度周期。调度周期配置为小时,系统支持按间隔小时和离散小时配置调度周期。 运维监控 支持对作业进行运行、暂停、恢复、终止等多种操作。 支持查看作业和其内各任务节点的运行详情。
导入作业 立即执行作业 启动作业 停止作业 删除作业 停止作业实例 重跑作业实例 查询实时作业运行状态 查询作业实例列表 查询作业实例详情 查询系统任务详情 父主题: 数据开发API(V1)
如果选择导入数据源,则单击“下一步”需要配置数据连接。 图9 配置数据连接 单击“下一步”,等待导入任务下发,导入任务成功下发后系统提示“导入开始”。 图10 导入开始 系统提示“导入开始”后,单击“确定”,可在资源迁移任务列表中查看导入结果。 其中存在子任务失败时,可单击红色子任务名,查看失败原因。
在需要下线的时间限定右侧,单击“更多 > 下线”,系统弹出“提交下线”对话框。 在下拉菜单中选择审核人。 单击“确认提交”。 下线及删除时间限定的前提是无依赖引用,即衍生指标引用。 删除 勾选需要删除的时间限定,单击页面上方“删除”,系统弹出“删除”对话框。 单击“是”。 父主题: 技术指标
购买数据服务专享集群增量包 数据服务专享集群增量包对应数据服务专享版集群。创建一个数据服务专享集群增量包,系统会按照您所选规格自动创建一个数据服务专享集群。 数据服务定位于标准化的数据服务平台,提供了快速将数据表生成数据API的能力,帮助您简单、快速、低成本、低风险地实现数据开放。
然后选择实例类型和数据库引擎版本对应的场景资料,参考文档获取驱动包。 说明: 驱动文件所在的OBS路径中不能包含中文。 出于安全考虑,当前系统会对所选择的驱动文件校验其SHA512值和字节大小。如不在允许清单中,则会提示报错,推荐您使用建议版本的驱动文件,或联系客服或技术支持人员。
mysql.com/archives/c-j/,建议5.1.48版本。 说明: 驱动文件所在的OBS路径中不能包含中文。 出于安全考虑,当前系统会对所选择的驱动文件校验其SHA512值和字节大小。如不在允许清单中,则会提示报错,推荐您使用建议版本的驱动文件,或联系客服或技术支持人员。
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 directory/ 文件格式 写入后的文件格式,可选择以下文件格式: