检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flume基本原理 Flume是一个高可用、高可靠,分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接收方(可定制)的能力。
对系统的影响 Flume证书文件即将失效,对系统目前运行无影响。 可能原因 Flume证书文件即将到期。 处理步骤 查看告警信息。
对系统的影响 查询可能会阻塞甚至失败。
紧急 重要 次要 提示 阈值类型 选择某指标的最大值或最小值,类型为“最大值”表示指标的实际值大于设置的阈值时系统将产生告警,类型为“最小值”表示指标的实际值小于设置的阈值时系统将产生告警。 最大值 最小值 日期 设置规则生效的日期,即哪一天运行规则。
对系统的影响 后续新建立客户端连接可能会阻塞甚至失败。
ALM-50212 FE进程的老年代GC耗时累计值超过阈值 告警解释 系统每30秒周期性检查FE进程的老年代GC耗时累计值,当检查到该值超出阈值(默认值为3000ms)时产生该告警。 当系统检查到FE进程的老年代GC耗时累计值低于阈值时,告警清除。
原因分析 系统并发量较大或数据量大导致任务执行超时。 处理步骤 登录MySQL客户端,执行以下命令适当调大“query_timeout”参数值,默认为300秒。
系统域名:可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 参考管理Kafka Topic中的消息,向kafka中写入数据。
当前标准的云上大数据集群不能满足所有用户需求,例如如下几种场景: 通用的操作系统配置不能满足实际数据处理需求,例如需调大系统最大连接数。 需要安装自身业务所需的软件工具或运行环境,例如需安装Gradle、业务需要依赖R语言包。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 大量应用任务被强制终止。 可能原因 人为强制终止大量任务。 系统出于某种错误终止任务。 处理步骤 检查告警详情。
对系统的影响 查询可能会阻塞甚至失败。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Guardian TokenServer实例非堆内存溢出可能导致业务无法正常访问OBS。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 导致整个系统任务执行变慢阻塞。 可能原因 可能存在较大的任务阻塞了队列执行时长。 处理步骤 查看任务执行情况。
在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 配置Flume角色的服务端参数,并将配置文件上传到集群。
告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
对系统的影响 依赖LdapServer的组件运行状态变为故障,可能引起集群Kerberos认证失败或操作系统用户缓存同步异常,进而导致组件业务运行异常。 可能原因 LdapServer服务所在节点故障。 LdapServer进程故障。
各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Oozie客户端 以客户端安装用户,登录安装客户端的节点。
可参考管理Kafka主题中的消息查看数据消费情况。 父主题: 使用Flume
Loader数据导入导出概述 Loader数据导入简介 Loader是实现MRS与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件的ETL工具,支持将数据或文件从关系型数据库或文件系统导入到MRS系统中。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 导致某个场景下任务持续执行失败。 可能原因 可能存在某个BE的异常点导致任务触发场景下失败任务增长。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。