检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
也可登录MRS控制台,选择“组件管理 > HDFS > 实例”。 查看HDFS服务实例状态,找到一直处于退服中的DataNode,复制这个DataNode的IP地址。
Hive与DBService的关系 Hive的MetaStore(元数据服务)处理Hive的数据库、表、分区等的结构和属性信息(即Hive的元数据),这些信息需要存放在一个关系型数据库中,由MetaStore管理和处理。
方法三(适用于MRS 1.9.2及之后版本): 在集群列表页面,单击集群名称,登录集群详情页面,选择“组件管理”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
(可选)选择“ENV管理 > 新建ENV”,进入“新建ENV”参数配置窗口,参考下表进行参数配置。
名称> bin/kafka-topics.sh --describe --bootstrap-server <Kafka集群IP:21007> --command-config config/client.properties --topic <Topic名称> 删除Topic,由管理员用户操作
名称> bin/kafka-topics.sh --describe --bootstrap-server <Kafka集群IP:21007> --command-config config/client.properties --topic <Topic名称> 删除Topic,由管理员用户操作
当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的ClickHouse数据。 约束与限制 该功能仅MRS 3.1.0及之后版本支持。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。
表1 V2接口 接口 功能 API URI 集群管理接口 创建集群 POST /v2/{project_id}/clusters 修改集群名称 PUT /v2/{project_id}/clusters/{cluster_id}/cluster-name 创建集群并提交作业 POST
Topic名称> shkafka-topics.sh --delete --bootstrap-server <Kafka集群IP:21007>--command-config config/client.properties --topic <Topic名称> 创建Topic,由管理员用户操作
Topic名称> shkafka-topics.sh --delete --bootstrap-server <Kafka集群IP:21007>--command-config config/client.properties --topic <Topic名称> 创建Topic,由管理员用户操作
处理步骤 旧Consumer API 前提条件 系统管理员已明确业务需求,并准备一个Kafka管理员用户(属于kafkaadmin组)。 已安装Kafka客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。
命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 登录MRS管理控制台。 选择“现有集群”,单击集群名称进入集群详情页面。 选择“组件管理 > Ranger > 服务配置”,修改RangerAdmin配置。
选择“接入管理 > 创建客户端”,创建LakeFormation实例接入管理客户端。其中“虚拟私有云”和“所属子网”需要与待对接的MRS集群保持一致。详细操作请参考管理接入客户端。 MRS集群的VPC子网信息可通过登录MRS管理控制台,在MRS集群的概览页面中获取。
联系网络管理员恢复网络。 等待一段时间后,在告警列表中,查看告警是否清除。 是,处理完毕。 否,执行步骤 4。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Doris”。
表1 模块说明 名称 描述 HA 高可用性管理模块,主备DBServer通过HA进行管理。 Database 数据库模块,存储Client模块的元数据。
步骤2:准备样例程序和数据:创建OBS并行文件系统,并将Spark2x样例程序和样例数据上传到OBS并行文件系统中。 步骤3:创建作业:在MRS管理控制台创建SparkSubmit作业并运行。 步骤4:查看作业执行结果:作业执行完成后在OBS路径中获取日志文件并查看执行结果。
使用不同用户执行yarn-session创建Flink集群失败 作业管理类: Flink业务程序无法读取NFS盘上的文件 自定义Flink log4j日志输出级别不生效 Flink任务运行过程中出现报错“netty.exception.RemoteTransportException
选择“系统管理 > 集群连接管理”,进入集群连接管理页面。 单击“创建集群连接”,在弹出的页面中参考表1填写信息,单击“确定”,完成集群连接创建。创建完成后,可在对应集群连接的“操作”列对集群连接进行编辑、测试、删除等操作。
true:启用Metastore分区管理,即数据源表存储分区在Hive中,并在查询语句中使用Metastore修剪分区。 false:不启用Metastore分区管理。
(普通模式集群跳过此步骤) 在FusionInsight Manager管理界面,选择“集群 > 服务 > KrbServer”。 查看KrbServer服务的运行状态是否为“良好”。 是,执行步骤 5。 否,执行步骤 3。