检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在实际授权场景中，DAYU Administrator和DAYU User系统角色已经预置了依赖服务的管理员权限。为了避免普通用户/用户组被授予DAYU User系统角色导致其拥有的依赖服务权限过大的风险，您可以在为用户组授权DAYU User系统角色后，手动删除用户组的周边依赖权限，再为用户组授予所需依赖服务的最小权限合集。
Studio仅支持基于系统角色的授权，不支持策略授权。为了实现精细的权限管控，DataArts Studio提供了系统角色+工作空间角色授权的能力，由工作空间角色授权具体的操作权限，并支持自定义不同权限点的工作空间角色。 如图1和表1所示，DataArts Studio的IAM系统角色包括DAYU
质量页面。 创建规则模板。 单击左侧导航“规则模板”，默认展示系统自定义的规则。数据质量的规则包含6个维度，分别是：完整性、唯一性、及时性、有效性、准确性、一致性。 可选：单击“新建”，可自定义创建规则。 本例使用系统自定义的规则即可。 创建质量作业。 单击左侧导航“质量作业”。
调用说明 数据治理中心提供了REST（Representational State Transfer）风格API，支持您通过HTTPS请求调用。 调用方法请参见如何调用API。 构造请求 认证鉴权 返回结果 父主题： 使用前必读
选择系统账号映射的默认映射账号类型。未配置账号映射的IAM账号将统一使用默认访问身份进行认证鉴权。 数据连接账号：使用连接中的MRS系统账号进行认证鉴权，不做映射。 MRS系统账号：使用配置的默认MRS系统账号进行认证鉴权。 同名映射账号：使用当前IAM账号同名的MRS系统账号进行认证鉴权。
、ImpalaSQL、HetuEngineSQL、RDSSQL其中之一时，这个参数是必选的。用户可以通过查询连接列表（待下线）接口获取当前系统中已经存在的连接。默认值为空。 database String 执行SQL语句所关联的数据库，当type参数值为DLISQL、SparkS
含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时，CDM支持使用正则表达式分隔字段，并按照解析后的
含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时，CDM支持使用正则表达式分隔字段，并按照解析后的
容会全部清除，谨慎单击。当前版本暂不支持对话历史功能。 ：关闭DataArts智能助手 ：配置入口，可以进行模型配置操作。 ：单击该按钮，系统自动弹出相关快捷功功能。或者输入/，也会自动弹出相关快捷功功能，跟按钮功能一样。如下图所示。 图1 快捷功能 ：选择数据表，可基于数据表生成SQL
创建脚本 功能介绍 创建一个新脚本，当前支持的脚本类型有DLI SQL、Flink SQL、RDS SQL、Spark SQL、Hive SQL、DWS SQL、Shell、Presto SQL、ClickHouse SQL、HetuEngine SQL、Python、Spark
开发和维护本领域的数据系统或子系统，确保数据在系统中得以记录，数据标准、数据质量规则、数据安全、主/参考数据管理、数据服务在系统中得以实施。 提供数据系统的数据相关信息（元数据、数据字典、数据血缘）。 协助执行IT相关的数据治理工作。 确保数据系统的技术方案符合本领域的信息架
方式。一般推荐使用自动血缘解析的方式，无需手动配置即可生成血缘关系，在不支持自动血缘解析的场景下，再手动配置血缘关系。 自动血缘解析，是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的，无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配
方式。一般推荐使用自动血缘解析的方式，无需手动配置即可生成血缘关系，在不支持自动血缘解析的场景下，再手动配置血缘关系。 自动血缘解析，是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的，无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配
RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS，则不支持RDS数据连接。 主机连接当前仅支持Linux系统主机。 当所连接的数据湖发生变化（如MRS集群扩容等情况）时，您需要重新编辑并保存该连接。 数据连接中的数据湖认证信息如果发生变化（如密码
"cu_count" : 16, "max_cu_count" : 16, "resource_mode" : 0, "feature" : "", "engine" : "spark", "resource_id" : "ff1f7a5c-1085-4
迁移和集成的效率。更多详情请参见云数据迁移服务。 CDM进行数据迁移时，目标端为数据湖或其他大数据系统；源端可以是数据库也可以是对象存储。 CDM与DRS的区别： 目的端是大数据系统时，推荐使用CDM。 目的端是OLTP数据库或DWS时，推荐使用DRS迁移。 CDM与OMS的区别：
详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 TBL_E 使用SQL语句 “读取方式”选择“JDBC”时显示此参数。
警平台，该平台将应用多个云服务，结合数据开发模块的作业编辑和作业调度功能来实现。 假设客户有一个数据中心部署了很多应用，需要建立统一的运维系统，实时接收应用的告警信息。 当告警级别达到严重及以上级别时，向用户发送一条消息。 每天提供一个运维报表，统计各应用的告警级别数据。 为解决以上场景的需求，我们设计了如下方案：
数据开发模块的作业执行机制是以启动作业的用户身份执行该作业。对于按照周期调度方式执行的作业，当启动该作业的IAM账号在调度周期内被停用或删除后，系统无法获取用户身份认证信息，导致作业执行失败。 如果作业被低权限的用户启动，也会因为权限不足导致作业执行失败。 若需解决以上两个问题，则可配
table create table drop table into outfile 如果SQL语句过长，会导致请求过长下发失败，继续创建作业系统会报错“错误请求”，此时您需要简化或清空SQL语句，再次尝试继续创建作业。 select id,name from sqoop.user;
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
