检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
系统为API网关共享版的默认分组自动分配一个内部测试用的调试域名,此调试域名唯一且不可更改,此调试域名每天最多可以访问1000次。
该标准适用于信息系统的建设单位,应用单位等进行数据管理时的规划,设计和评估,也可以作为针对信息系统建设状况的指导、监督和检查的依据。
系统弹出新建作业对话框,若已配置过工作空间级委托,则该作业默认使用工作空间级委托。您也可从委托列表中,选择其他已创建的委托。创建委托和配置权限,请参见参考:创建委托和参考:配置委托权限。
数据模型应满足三方面要求:能比较真实地模拟业务(场景);容易被人所理解;便于在IT系统中实现。
在导入时,系统将按编码判断将要导入的主题信息在系统中是否已存在。 不更新:当主题信息已存在时,将直接跳过,不更新。 更新:当主题信息已存在时,更新已有的主题信息。 在导入主题信息时,只有创建或更新操作,不会删除已有的主题信息。 上传模板 选择所需导入的主题设计文件。
在企业模式中,开发者提交脚本或作业版本后,系统会对应产生发布任务。开发者确认发包后,需要部署者审批通过,才能将修改后的作业同步到生产环境。 前提条件 开发者已完成脚本任务发布或作业任务发布。
当运行中的作业运行完(包括执行成功、执行失败、取消)或者停止调度后(不包括暂停调度),其他作业需要重新抢锁才能运行,系统会随机选择等待运行中的作业继续执行。 约束限制 最大可以创建100个互斥组。
当存在运行成功的数据开发作业调度任务时,系统会生成作业中的血缘关系,并在数据目录中进行可视化展示。 数据血缘的生成和展示,详情请参见节点数据血缘。 父主题: 数据目录
用户开发一个批处理的Pipeline作业时,需要配置MRS Hive SQL节点参数,并按照设置的小时周期调度去运行该作业,系统会按照所配置的小时周期调度去生成作业实例,同时您也可以查看作业运行日志信息,方便您对问题进行定位。
当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 连接FTP或SFTP服务器时,连接参数相同,如表1所示。
同时,系统支持通过模板进行批量导入命名词典。操作如下: 单击“导入”,进入“导入词典”界面。 单击“下载词典导入模板”,在本地配置好需要导入的数据。 单击“添加文件”,确保文件上传成功。 单击“上传文件”,上传成功后,界面显示结果为成功。
说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。
如果可用则提示保存成功,系统自动跳转到连接管理界面。 如果测试不可用,需要重新检查连接参数是否配置正确,或者H公司防火墙是否允许CDM集群的EIP访问数据源。
适用于数据上云、云服务间数据交换、云上数据迁移到本地业务系统。
系统弹出“新建分组”对话框,填写相关配置,单击“确定”,完成创建分组。 参数设置参考表2,并勾选左侧列表中的分类规则。 用户所勾选的规则将显示在右侧列表中。 表2 参数配置表 配置 说明 名称 规则组名称只能包含中文、英文字母、数字和下划线。
并行文件系统:PFS。 说明: 桶类型分为对象桶和并行文件系统,对象桶过滤文件会比较慢,建议客户使用并行文件桶。 linkConfig.server 是 String OBS服务器的终端节点(Endpoint)。
为了避免普通用户/用户组被授予DAYU User系统角色导致其拥有的依赖服务权限过大的风险,您可以在为用户组授权DAYU User系统角色后,手动删除用户组的周边依赖权限,再为用户组授予所需依赖服务的最小权限合集。
本章主要介绍如何实现数据开发动态水印功能,最终在数据开发组件中转储或下载敏感数据时,系统动态注入数据水印。
当前系统支持业务日期、计划时间、业务id三类参数的自定义。 业务日期是指在调度时间内,任务预期调度运行时间的前一天(即昨天),精确到天。业务日期可通过${yyyymmdd}获取。通常,业务日期为计划时间所在日期-1。
DWS连接中的数据库用户,在非三权分立模式下至少需具备数据库dbadmin权限,三权分立模式下需具备系统管理员权限。 配置方法详见检查集群版本与权限。