检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
memory! */ printf("not enough memory (realloc returned NULL)\n"); return 0; } memcpy(&(mem->memory[mem->size]), contents
对账作业 对账作业可将创建的规则应用到两张表中进行质量监控,并输出对账结果。 运维管理 运维管理用于查看规则运行状态,处理运维问题。 质量报告 系统根据作业的结果,会自动生成质量报告。 父主题: 数据质量监控
风险: IAM角色依赖服务权限过大。 DAYU Administrator和DAYU User系统角色默认预置了依赖服务(如MRS、DWS等相关服务)的管理员权限。当为用户配置这两个系统角色之一后,会导致其拥有依赖服务的管理员权限。 工作空间中其他组件权限不受控制。 工作空间中的
memory! */ printf("not enough memory (realloc returned NULL)\n"); return 0; } memcpy(&(mem->memory[mem->size]), contents
每个后端连接一个子作业,子作业支持按主键分片。 NoSQL 分布式缓存服务(DCS) 不支持分片。 Redis 不支持分片。 文档数据库服务(DDS) 不支持分片。 MongoDB 不支持分片。 Cassandra 支持按Cassandra的token range分片。 消息系统 数据接入服务(DIS) 支持按topic分片。
容、不进行操作的用户设置为访客。 部署者:企业模式独有,具备工作空间内任务包发布的相关操作权限。在企业模式中,开发者提交脚本或作业版本后,系统会对应产生发布任务。开发者确认发包后,需要部署者审批通过,才能将修改后的作业同步到生产环境。 自定义角色:如果预置角色不能满足您的需求,您
SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验。Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地
界面。 登录DataArts Studio控制台。选择对应工作空间的“数据集成”模块,进入CDM主界面。 云数据迁移简介 云数据迁移基于分布式计算框架,利用并行化处理技术,支持用户稳定高效地对海量数据进行移动,实现不停服数据迁移,快速构建所需的数据架构。 图1 数据集成定位 产品功能
选择作业的优先级,提供高、中、低三个等级。 说明: 作业优先级是作业的一个标签属性,不影响作业的实际调度执行的先后顺序。 委托配置 配置委托后,作业执行过程中,以委托的身份与其他服务交互。若该工作空间已配置过委托,参见配置公共委托,则新建的作业默认使用该工作空间级委托。您也可参见配置作业委托,修改为作业级委托。
入到目标数据源。 目标端是DWS的ETL Job节点,不支持使用委托进行调度,建议采用兼容性更佳的公共IAM账号方式进行调度,详见配置调度身份。 参数 用户可参考表1,表2和表3配置ETL Job节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含
自动匹配创建作业时配置的作业责任人,此处支持修改。 执行用户 当“作业调度身份是否可配置”设置为“是”,该参数可见。 执行作业的用户。如果输入了执行用户,则作业以执行用户身份执行;如果没有输入执行用户,则以提交作业启动的用户身份执行。 说明: 配置执行用户调度功能当前需申请白名单后才能使用。
自动匹配创建作业时配置的作业责任人,此处支持修改。 执行用户 当“作业调度身份是否可配置”设置为“是”,该参数可见。 执行作业的用户。如果输入了执行用户,则作业以执行用户身份执行;如果没有输入执行用户,则以提交作业启动的用户身份执行。 说明: 配置执行用户调度功能当前需申请白名单后才能使用。
自动匹配创建作业时配置的作业责任人,此处支持修改。 执行用户 当“作业调度身份是否可配置”设置为“是”,该参数可见。 执行作业的用户。如果输入了执行用户,则作业以执行用户身份执行;如果没有输入执行用户,则以提交作业启动的用户身份执行。 说明: 配置执行用户调度功能当前需申请白名单后才能使用。
),再通过给用户组授予自定义策略来进行精细的访问控制。 登录华为云控制台。 在控制台页面,鼠标移动至右上方的账号名,在下拉列表中选择“统一身份认证”。 在左侧导航窗格中,单击“角色授权”>“创建自定义策略”。 输入“策略名称”。 图1 策略名称 选择“作用范围”,即自定义策略的生
User或DAYU Administrator的系统角色。IAM用户的创建和授权系统角色的具体操作如下: 创建用户组并授权系统角色。 使用华为账号登录统一身份认证服务IAM控制台,创建用户组,并授予DataArts Studio的系统角色,如“DAYU Administrator”或“DAYU
化查看数据血缘关系。 约束限制 数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。 对于同一版本的数据开发作业,系统基于最新的作业调度实例生成数据血缘关系后,在冷却期(默认为48小时)内不会再次更新数据血缘关系。如需更新,需要等待冷却期结束或将数据开发作业再次提交版本后调度。
ppSecret)进行安全认证,对调用者本身的用户身份无要求。 约束与限制 使用APP认证方式的API必须先通过应用授权才能调用。 APP认证方式的API只能授权给APP类型的应用。 如果对无认证方式的API进行应用授权,则系统会忽略此操作。 仅数据服务专享版支持重置APP类型应
数据资产化前列。面对数据入表的需求,亿信华辰不仅提供全套数据治理软件,让数据采集、加工、治理、应用更加便捷。还为企业搭建数据入表所需的信息系统及提供成本法入表服务,帮助实现半自动化、全自动化的数据入表。 同时, 亿信华辰拉通各生态伙伴成立“数据资产入表服务链合体”,为客户提供数据
单击“保存”,对设置的配置项进行保存。 作业测试运行使用的身份 配置作业测试运行使用的身份后,在作业测试运行时,可以对作业测试运行的身份进行指定。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 单击“默认项设置”,可设置“作业测试运行使用的身份”配置项。 配置作业测试运行使用的身份。 公共委托或IAM账
户访问数据源时,能够根据其自身用户信息管控用户访问数据的权限,需要先将IAM上的用户信息同步到数据源上,然后不同用户在数据源上才能有不同的身份,便于后续在数据权限管理中使用自身用户信息进行认证。 值得注意的是,DataArts Studio实例内对每个MRS/DWS集群只能有一个