检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio控制台首页，选择对应工作空间的“数据集成”模块，进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 选择集群操作列中的“更多 > 下载日志”，选择下载日志类型。 图2 下载日志类型 确认后，即可下载日志到本地。
Doris数据源，还需要额外准备包含Hadoop、Spark和Yarn组件的MRS集群，用于运行数据水印任务。 前提条件 已创建源端数据源类型为MapReduce服务（MRS Hive）或MRS Doris的数据连接，请参考创建DataArts Studio数据连接。 创建数据水印嵌入任务 在DataArts
全链路数据安全：DataArts Studio数据治理全链路包含数据集成、数据管理（架构设计、指标设计、数据质量管理）、数据开发、数据资产管理和数据服务等不同阶段。在数据动态流动场景下，可通过数据访问控制、数据脱敏等安全防护措施保障数据全链路、全生命周期安全能力。例如：数据入湖阶段，支持对
OBS路径管理，包括创建和删除路径 RESTAPI： REST API请求 SMN： 发送短信或邮件 MRS Spark：执行MRS服务的Spark作业 MapReduce：执行MRS服务的MapReduce作业 请求示例 查询实时作业job_sms作业运行状态以及各个节点运行状态。 GET /v1
HANA连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 sap_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。
Kafka 非安全：9092/9094 安全：9093/9095 MRS Hudi MRS Hudi所使用端口较为复杂，具体请参考《MRS集群服务常用端口列表》。 图1 MRS Hudi安全组规则示例 父主题： 数据集成（实时作业）
取值样例 源连接名称 选择已配置的LogHub（SLS）连接。 sls_link 日志库 目标日志库的名称。 - 单次查询数据条数 一次从日志服务查询的数据条数。 128 数据消费开始时间 数据消费的开始时间位点，即日志数据到达LogHub(SLS)的时间，yyyyMMddHHmmss格式的时间字符串。
连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 obs_link OBS终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息： OBS桶的Endpoint，可以进入OBS控制台概览页，单击桶名称后查看桶的基本信息获取。
于创建数据库的SQL脚本，从而创建数据库。 本章节以可视化模式为例，介绍如何在数据开发模块新建数据库。 前提条件 已开通相应的云服务。比如，MRS服务。 已新建数据连接，请参见新建数据连接。 MRS API方式连接不支持通过可视化模式管理数据库，建议通过SQL脚本方式进行创建。
MRS的作业名称。 如果未设置MRS作业名称且选择直连模式时，节点名称只能由英文字母、数字、中划线和下划线组成，长度不能超过64个字符，不能包含中文字符。 系统支持MRS作业名称按照作业名称_节点名称格式自动填入。 SQL脚本 是 选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发脚本。
2.0-LTS.1及以上版本。 Flink作业名称 是 MRS作业名称，只能由英文字母、数字、中划线和下划线组成，长度不能超过64个字符。 系统支持作业名称按照作业名称_节点名称格式自动填入。 说明： 作业名称不得包含中文字符、超出长度限制等。如果作业名称不符合规则，将导致提交MRS作业失败。
Cassandra连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mongodb_link 服务节点 一个或者多个节点的地址，以“;”分隔。建议同时配置多个节点。 192.168.0.1;192.168.0.2 端口 连接的Cassandra节点的端口号。
对账作业创建完成后，可以在作业里面进行查看，系统支持通过作业名称、创建人、最近运行时间进行筛选。同时，系统支持模糊搜索。 对账作业创建完成后，可以对该对账作业进行编辑、删除、运行、启动调度、停止调度等操作。 单次调度模式不支持启动调度。 运行单个对账作业 系统支持运行单个对账作业。 选择“数据质量监控
是否必选 类型 说明 linkConfig.hbaseType 是 枚举 HBase类型： CloudTable：表示连接CloudTable服务。 MRS：表示连接MRS的HBase。 FusionInsight HD：表示连接FusionInsight HD的HBase。 Apache
的数据量，以提高性能。 properties.max.partition.fetch.bytes int 1048576 消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 properties.max.poll
csv后缀，选择“UTF-8”编码格式（不能带BOM），则能以CSV格式保存该文件。 将源数据CSV文件上传到OBS服务。 登录控制台，选择“存储 > 对象存储服务 OBS”，进入OBS控制台。 单击“创建桶”，然后根据页面提示配置参数，创建一个名称为“fast-demo”的OBS桶。
！），但需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 前提条件 已在管理中心创建数据仓库服务（DWS）、数据湖探索（DLI）、MapReduce服务（MRS Hive）和RDS MySQL类型的数据连接，请参考创建DataArts Studio数据连接。 A
请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token，使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 instance 是 String 实例ID，获取方法请参见实例ID和工作空间ID。
前提条件 请参见购买DataArts Studio实例，确认已购买DataArts Studio实例。 操作步骤 登录华为云控制台，在左上角的服务列表中选择“数据治理中心DataArts Studio”，进入DataArts Studio实例控制台。 如果当前区域下不存在DataArts
的数据量，以提高性能。 properties.max.partition.fetch.bytes int 1048576 消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 properties.max.poll
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
