检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 登录MRS管理控制台。 选择“现有集群”,单击集群名称进入集群详情页面。 选择“组件管理 > Ranger > 服务配置”,修改RangerAdmin配置。
Execution特性后,Spark SQL能自动处理数据倾斜场景,对倾斜的分区,启动多个task进行处理,每个task读取若干个shuffle输出文件,再对这部分任务的Join结果进行Union操作,以达到消除数据倾斜的效果 配置参数 登录FusionInsight Manager系统
MRS 3.x之后至MRS 3.3.1-LTS之前的版本,Impala客户端节点(Euler2.9及以上操作系统)需要安装Python2版本。 操作步骤 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
资源异常 ALM-12006 节点故障 ALM-12007 进程故障 ALM-12010 Manager主备节点间心跳中断 ALM-12011 Manager主备节点同步数据异常 ALM-12012 NTP服务异常 ALM-12014 设备分区丢失 ALM-12015 设备分区文件系统只读
登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
对系统的影响 配置高可用、高性能的影响: 配置高可用、高性能模式后,数据可靠性会降低。在磁盘故障、节点故障等场景下存在数据丢失风险。 配置高可靠性的影响: 性能降低: 在生产数据时,配置了高可靠参数ack=-1之后,需要多个副本均写入成功之后才认为是写入成功。
登录FusionInsight Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。
MRS集群创建成功后,如果当前子网IP地址资源不足时,系统支持切换子网到当前集群相同虚拟私有云(Virtual Private Cloud,VPC)下的其他子网,实现可用子网IP的扩充。 切换子网不会影响当前已有节点的IP地址和子网。
登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
对系统的影响 同步集群或服务配置后,需要重启配置过期的服务。重启时对应的服务不可用。 同步角色实例配置后,需要重启配置过期的角色实例。重启时对应的角色实例不可用。
登录FusionInsight Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。
Kerberos服务的renewable、forwardable开关和票据刷新周期的设置在Kerberos服务的配置页面的“系统”标签下,票据刷新周期的修改可以根据实际情况修改“kdc_renew_lifetime”和“kdc_max_renewable_life”的值。
对系统的影响 调整HDFS数据的磁盘选择策略可能会对HDFS写文件性能产生影响。 前提条件 MRS集群内DataNode节点的磁盘总容量偏差不能超过100%。 操作步骤 登录FusionInsight Manager。
[root @bdpsit3ap03 ~]# id -Gn kafka id: kafka: No such user [root @bdpsit3ap03 ~]# MRS集群中的用户管理由LDAP服务管理提供,又依赖于操作系统的sssd或nscd服务,用户的建立到同步到sssd
操作卸载补丁之前需要在FusionInsight Manager界面选择“系统 > 第三方AD”中关闭AD对接。
对系统的影响 配置高可用、高性能的影响: 配置高可用、高性能模式后,数据可靠性会降低。在磁盘故障、节点故障等场景下存在数据丢失风险。 配置高可靠性的影响: 性能降低: 在生产数据时,配置了高可靠参数ack=-1之后,需要多个副本均写入成功之后才认为是写入成功。
主题创建成功后,系统会自动生成主题URN,主题URN是主题的唯一资源标识,不可修改。 新创建的主题将显示在主题列表中,单击主题名称,可查看主题详情信息。 在主题列表中,选择您要向其添加订阅者的主题,在右侧“操作”栏单击“添加订阅”。
解决Spark jobhistory内存泄漏问题 解决Spark jobhistory偶现无法显示application列表问题 MRS 1.9.0.3 修复问题列表: MRS Manager MRS Manager升级ARM JDK MRS Manager解决Core节点日志撑满系统盘问题
org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSysteMapReduceMStateStore:类似HDFS的基于Hadoop文件系统的state-store实现。