检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
和DLI服务的只读权限(ReadOnly)。 如果所选凭证与登录迁移中心 MgC的账号凭证相同,请勾选“所选凭证与登录迁移中心凭证相同”,系统将根据所选的区域,自动查询账号在该区域下的项目。 区域:选择需要校验的数据所在区域/项目。 项目:选择需要校验的数据所在项目。 集群ID:输入需要校验的数据所在集群ID。
LI队列默认使用的网段为172.16.0.0/18。 购买ECS 购买ECS:在与目的端DLI同一区域(Region)下购买一台Linux系统的ECS主机,购买方法请参考购买弹性云服务器。其中网络配置选择上一步创建的虚拟私有云和子网。该ECS主机还需要满足以下条件: 可以访问外网
选择业务场景和使用场景,区域选择目的端所在区域。 单击“确定”按钮,完成创建。 单击“确认”,创建在线调研对象存储资源任务完成,进入任务中心页面,系统自动开始资源采集。 当任务状态为“成功”时,采集完成。 步骤二:创建集群 在创建迁移集群时会产生部分其他服务费用,详情请参见计费说明。 为
口。 根据表1,配置参数。 表1 添加资源参数说明 参数 说明 资源名称 支持用户自定义。 资源类型 支持下拉框选择:SERVER。 操作系统 Windows。 Linux。 接入方式 输入接入IP,资源的公网IP或私网IP,MgC-Agent将通过该IP进行远程连接,采集资源数据。
步骤1:对应用进行分析 更多 访问外网 应用容器化改造介绍 应用容器化改造流程 步骤1:对应用进行分析 步骤2:准备应用运行环境 更多 操作系统相关 应用容器化改造介绍 应用容器化改造流程 步骤1:对应用进行分析 步骤2:准备应用运行环境 步骤2:准备应用运行环境 步骤2:准备应用运行环境
1白名单 使用该功能前,请联系技术支持人员,将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。 操作步骤 登录迁移中心控制台。 在左侧
在第一步:配置连接方式区域,连接方式选择“华为云访问密钥”。选择在MgC服务创建项目的区域,输入华为云账号的AK/SK,单击“查询项目”按钮。系统会对输入的AK/SK进行验证,验证通过后,即可进行下一步。如果提示AK/SK错误,请参考AK/SK验证失败,如何处理?进行排查处理。 如果
在执行Hive数据的日级别增量、小时级增量以及指定日期的校验时,如果分区字段为date类型,且分区值的格式不是标准的YYYY-MM-DD时,系统目前不支持对这种场景进行数据校验。 HBase(包括云HBase、EMR-HBase、MRS-HBase、CT-HBase等)校验任务仅支
1白名单 使用该功能前,请联系技术支持人员,将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。 操作步骤 登录迁移中心管理控制台。在左
和DLI服务的只读权限(ReadOnly)。 如果所选凭证与登录迁移中心 MgC的账号凭证相同,请勾选“所选凭证与登录迁移中心凭证相同”,系统将根据所选的区域,自动查询账号在该区域下的项目。 区域:选择需要校验的数据所在区域/项目。 项目:选择需要校验的数据所在项目。 集群ID:输入需要校验的数据所在集群ID。
和DLI服务的只读权限(ReadOnly)。 如果所选凭证与登录迁移中心 MgC的账号凭证相同,请勾选“所选凭证与登录迁移中心凭证相同”,系统将根据所选的区域,自动查询账号在该区域下的项目。 区域:选择需要校验的数据所在区域/项目。 项目:选择需要校验的数据所在项目。 集群ID:输入需要校验的数据所在集群ID。
检查是否已开放MgC Agent(原Edge)需要的端口,所需端口请查看通信矩阵。 安全组的出方向规则中,需要包含8883端口。 操作系统为:CentOS 8。 推荐规格不小于4U8G。如果使用大数据相关功能,推荐规格不小于8U16G。 安装MgC Agent的磁盘预留可用空间不小于20
迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 预估项目周期(天)(可选) 配置后,系统会在任务执行时检查表的生命周期。若表的生命周期在项目的预期结束时间之前终止,则忽略该表。不配置则默认迁移所有表。 MaxCompute参数(可选)
和DLI服务的只读权限(ReadOnly)。 如果所选凭证与登录迁移中心 MgC的账号凭证相同,请勾选“所选凭证与登录迁移中心凭证相同”,系统将根据所选的区域,自动查询账号在该区域下的项目。 区域:选择需要校验的数据所在区域/项目。 项目:选择需要校验的数据所在项目。 集群ID:输入需要校验的数据所在集群ID。
DLI凭证 选择步骤6.在MgC Agent侧添加的DLI凭证。如果所选凭证与登录迁移中心账号凭证相同,请勾选“所选凭证与登录迁移中心凭证相同”,系统将根据所选的区域,自动查询账号在该区域下的项目。 区域ID 输入需要校验的数据(即目的端数据)所在区域的代码。例如:ap-southeas
和DLI服务的只读权限(ReadOnly)。 如果所选凭证与登录迁移中心 MgC的账号凭证相同,请勾选“所选凭证与登录迁移中心凭证相同”,系统将根据所选的区域,自动查询账号在该区域下的项目。 区域:选择需要校验的数据所在区域/项目。 项目:选择需要校验的数据所在项目。 集群ID:输入需要校验的数据所在集群ID。
在执行Hive数据的日级别增量、小时级增量以及指定日期的校验时,如果分区字段为date类型,且分区值的格式不是标准的YYYY-MM-DD时,系统目前不支持对这种场景进行数据校验。 前提条件 已创建表组并添加数据表。 已根据组件类型,创建对应的连接。 操作步骤 登录迁移中心管理控制台。
在执行Hive数据的日级别增量、小时级增量以及指定日期的校验时,如果分区字段为date类型,且分区值的格式不是标准的YYYY-MM-DD时,系统目前不支持对这种场景进行数据校验。 HBase(包括云HBase、EMR-HBase、MRS-HBase、CT-HBase等)校验任务仅支
和DLI服务的只读权限(ReadOnly)。 如果所选凭证与登录迁移中心 MgC的账号凭证相同,请勾选“所选凭证与登录迁移中心凭证相同”,系统将根据所选的区域,自动查询账号在该区域下的项目。 区域:选择需要校验的数据所在区域/项目。 项目:选择需要校验的数据所在项目。 集群ID:输入需要校验的数据所在集群ID。
se。 数据库链接 填写连接源端ClickHouse集群的外网地址。可以在集群信息页面,查看外网地址。 配置完成后,单击“测试连接”按钮,系统会校验配置信息并与源端建立连接,测试通过代表连接成功。 测试连接通过后,单击“确认”按钮,创建元数据连接完成。 单击“元数据连接”,进入元