检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群节点创建成功后,节点的操作系统磁盘分区说明如表1所示。 表1 MRS集群节点OS盘分区说明 分区类型 分区目录 容量 用途 OS分区 / 220GB 操作系统根分区目录和程序存放目录,包括了所有目录(除去下面指定的目录)。 /tmp 10GB 临时文件存放目录。
更新MRS集群加密密钥 在安装集群时,系统将自动生成加密密钥key值以对集群的部分安全信息(例如所有数据库用户密码、密钥文件访问密码等)进行加密存储。在集群安装成功后,如果原始密钥不慎意外泄露或者需要使用新的密钥,系统管理员可以通过以下操作手动更改密钥值。
class MyProcessorSupplier implements ProcessorSupplier<String, String> { @Override public Processor<String, String> get() { return
MRS系统提供的扩展Hive语句如表1所示。
配置MRS集群监控指标数据转储 监控数据上报功能可以将系统中采集到的监控数据写入到文本文件,并以FTP或SFTP的形式上传到指定的服务器中。用户可以在Manager界面上配置监控指标数据对接参数,使集群内各监控指标数据保存到指定的FTP服务器,与第三方系统进行对接。
Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 单副本的数据在节点故障时容易丢失,单副本的文件过多会对HDFS文件系统的安全性造成影响。 可能原因 DataNode节点故障。 磁盘故障。 单副本写入文件。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 导致整个系统任务执行变慢阻塞。 可能原因 可能存在较大的任务阻塞了队列执行时长。 处理步骤 查看FE任务执行情况。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 导致某个场景下任务持续执行失败。 可能原因 可能存在某个BE的异常点导致任务触发场景下失败任务增长。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。
对系统的影响 后续新建立客户端连接可能会阻塞甚至失败。
对系统的影响 后续新建立客户端连接可能会阻塞甚至失败。
sysctl -p “kernel.pid_max”最大可设置为: 32位系统:32768 64位系统:4194304(2的22次方) 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行步骤 2。 检查系统环境是否异常。 联系运维人员,检查操作系统是否存在异常。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 占用系统资源,业务进程响应变慢。 可能原因 主机中正在等待的IO(磁盘IO、网络IO等)在较长时间内未得到响应,进程处于D状态。 处理步骤 查看D状态进程。
对系统的影响 执行恢复任务失败后,系统会自动回滚,如果回滚失败,可能会导致数据丢失,数据状态未知等问题,有可能会影响业务功能。
该配置为操作系统的配置,并非HBase或者HDFS的配置。建议集群管理员根据HBase和HDFS的业务量及各操作系统用户的权限进行句柄数设置。如果某一个用户需对业务量很大的HDFS进行很频繁且很多的操作,则为此用户设置较大的句柄数,避免出现以上错误。
Loader数据导入导出概述 Loader数据导入简介 Loader是实现MRS与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件的ETL工具,支持将数据或文件从关系型数据库或文件系统导入到MRS系统中。
原因分析 系统并发量较大或数据量大导致任务执行超时。 处理步骤 登录MySQL客户端,执行以下命令适当调大“query_timeout”参数值,默认为300秒。
该配置为操作系统的配置,并非HBase或者HDFS的配置。建议集群管理员根据HBase和HDFS的业务量及各操作系统用户的权限进行句柄数设置。如果某一个用户需对业务量很大的HDFS进行很频繁且很多的操作,则为此用户设置较大的句柄数,避免出现以上错误。
部分组件针对特定的默认用户组,系统默认赋予了部分权限。 用户 系统的访问者,每个用户的权限由该用户关联的用户组和角色所对应的权限构成,用户需要加入用户组或者关联角色来获得对应的权限。
对系统的影响 执行恢复任务失败后,系统会自动回滚,如果回滚失败,可能会导致数据丢失,数据状态未知等问题,有可能会影响业务功能。
告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考