检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在第一步:配置连接方式区域,连接方式选择“华为云访问密钥”。选择在MgC服务创建项目的区域,输入华为云账号的AK/SK,单击“查询项目”按钮。系统会对输入的AK/SK进行验证,验证通过后,即可进行下一步。如果提示AK/SK错误,请参考AK/SK验证失败,如何处理?进行排查处理。 如果
在执行Hive数据的日级别增量、小时级增量以及指定日期的校验时,如果分区字段为date类型,且分区值的格式不是标准的YYYY-MM-DD时,系统目前不支持对这种场景进行数据校验。 HBase(包括云HBase、EMR-HBase、MRS-HBase、CT-HBase等)校验任务仅支
1白名单 使用该功能前,请联系技术支持人员,将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。 操作步骤 登录迁移中心管理控制台。在左
3版本依赖访问时,请添加如下参数: 参数名:master 参数值:local 如果源端是阿里云 EMR Delta 2.1.0版本并且配置了Spark 2.4.8来处理Delta Lake数据,请添加如下参数: 参数名:mgc.delta.spark.version 参数值:2 如果源端是阿里云
3版本依赖访问时,请添加如下参数: 参数名:master 参数值:local 如果源端是阿里云 EMR Delta 2.1.0版本并且配置了Spark 2.4.8来处理Delta Lake数据,请添加如下参数: 参数名:mgc.delta.spark.version 参数值:2 如果源端是阿里云
您可以参考方法一或方法二,在目的端主机进行处理。 方法一: 登录目的端主机,在开始菜单打开“运行”输入框。 输入“diskmgmt.msc”,按“Enter”,进入磁盘管理页面。 在磁盘管理页面,可以看到数据盘处于“脱机”状态。 图1 脱机 使用鼠标右键单击“脱机”的数据盘,会出现联机的菜单,单击联机即可恢复正常。
专线最佳实践。 - 高级设置 DNS配置(可选) 填写DNS服务器IP地址,用于追加/etc/resolv.conf文件中的nameserver参数值。多个DNS服务器地址使用英文逗号分隔,例如:192.0.2.1,192.0.2.2 最多可输入3个DNS服务器地址。 域名映射配置(可选)
和DLI服务的只读权限(ReadOnly)。 如果所选凭证与登录迁移中心 MgC的账号凭证相同,请勾选“所选凭证与登录迁移中心凭证相同”,系统将根据所选的区域,自动查询账号在该区域下的项目。 区域:选择需要校验的数据所在区域/项目。 项目:选择需要校验的数据所在项目。 集群ID:输入需要校验的数据所在集群ID。
和DLI服务的只读权限(ReadOnly)。 如果所选凭证与登录迁移中心 MgC的账号凭证相同,请勾选“所选凭证与登录迁移中心凭证相同”,系统将根据所选的区域,自动查询账号在该区域下的项目。 区域:选择需要校验的数据所在区域/项目。 项目:选择需要校验的数据所在项目。 集群ID:输入需要校验的数据所在集群ID。
表元数据迁移失败。 在数据迁移时,如果重复迁移分区数据时提示错误信息:"Do not support update partition SerDeInfo for DLI table",需要您手动删除DLI中的分区数据,然后再进行迁移。 在进行指定分区数据迁移的场景下,由于Max
和DLI服务的只读权限(ReadOnly)。 如果所选凭证与登录迁移中心 MgC的账号凭证相同,请勾选“所选凭证与登录迁移中心凭证相同”,系统将根据所选的区域,自动查询账号在该区域下的项目。 区域:选择需要校验的数据所在区域/项目。 项目:选择需要校验的数据所在项目。 集群ID:输入需要校验的数据所在集群ID。
见OMS计费说明。 创建迁移集群计费说明 在创建迁移集群时会根据用户实际创建集群时所选择的资源进行收费,可能会产生以下费用: 创建Master节点、迁移节点和列举节点会产生ECS服务费用。ECS的按需计费是秒级计费,ECS产品价格详情中标出了每小时的价格。具体计费详情请参见ECS按需计费说明或ECS价格计算器。
DLI凭证 选择步骤6.在MgC Agent侧添加的DLI凭证。如果所选凭证与登录迁移中心账号凭证相同,请勾选“所选凭证与登录迁移中心凭证相同”,系统将根据所选的区域,自动查询账号在该区域下的项目。 区域ID 输入需要校验的数据(即目的端数据)所在区域的代码。例如:ap-southeas
3版本依赖访问时,请添加如下参数: 参数名:master 参数值:local 如果源端是阿里云 EMR Delta 2.1.0版本并且配置了Spark 2.4.8来处理Delta Lake数据,请添加如下参数: 参数名:mgc.delta.spark.version 参数值:2 如果源端是阿里云
同一账户下集群名称不可重名。 区域 选择创建集群的区域。 与目的端区域保持一致。 集群类型 选择集群使用场景。 当前仅支持存储迁移场景。 节点创建 Master节点ECS规格 用于管理迁移节点和列举节点,默认创建,无需配置。 规格与迁移节点规格一致 迁移节点ECS规格 迁移节点用于执行迁移和对比的