检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-50212 FE进程的老年代GC耗时累计值超过阈值 告警解释 系统每30秒周期性检查FE进程的老年代GC耗时累计值,当检查到该值超出阈值(默认值为3000ms)时产生该告警。 当系统检查到FE进程的老年代GC耗时累计值低于阈值时,告警清除。
对系统的影响 Flume证书文件即将失效,对系统目前运行无影响。 可能原因 Flume证书文件即将到期。 处理步骤 查看告警信息。
对系统的影响 查询可能会阻塞甚至失败。
Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS文件数过多,磁盘存储不足可能造成数据入库失败。对HDFS系统性能产生影响。 可能原因 HDFS文件数超过阈值。 处理步骤 检查系统中是否有不需要的文件。
配置HDFS单目录文件数量 操作场景 通常一个集群上部署了多个服务,且大部分服务的存储都依赖于HDFS文件系统。当集群运行时,不同组件(例如Spark、Yarn)或客户端可能会向同一个HDFS目录不断写入文件。
Flume基本原理 Flume是一个高可用、高可靠,分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接收方(可定制)的能力。
OMS 操作维护系统的管理节点,OMS节点一般有两个,互为主备。 OMA 操作维护系统中的被管理节点,一般有多个。
通过Yarn WebUI查看队列信息时提示“ERROR 500”错误 问题背景与现象 在Yarn使用Capacity调度器时,单击Yarn WebUI页面的队列名称时,系统上报“ERROR 500”的错误。
UserGroupInformation.isLoginKeytabBased()); flag = true; } catch (IOException e) { e.printStackTrace(); } return
messageStream.rebalance().map(new MapFunction<String, String>() { @Override public String map(String s) throws Exception { return
在默认参数下执行失败,出现Futures timed out和OOM错误。 因为数据量大,task数多,而wordcount每个task都比较小,完成速度快。
shuffleGrouping("spout"); builder.setBolt("count", new WordCountBolt(), 12).fieldsGrouping("split", new Fields("word")); return
isSecurityEnabled()) { /* 959 */ return; /* */ } ......
messageStream.rebalance().map(new MapFunction<String, String>() { @Override public String map(String s) throws Exception { return
class MyProcessorSupplier implements ProcessorSupplier<String, String> { @Override public Processor<String, String> get() { return
shuffleGrouping("spout"); builder.setBolt("count", new WordCountBolt(), 12).fieldsGrouping("split", new Fields("word")); return
表中增加分区列后再插入数据显示为NULL 访问Hive客户端提示访问ZooKeeper失败 使用UDF函数时提示“Invalid function” TEXTFILE类型文件使用ARC4压缩时查询结果乱码 Hive任务运行过程中失败,重试成功 执行select语句时报错“Execution Error return
return_rows bigint 查询结果返回的行数。 stmt_id int 自增ID。 is_query tinyint 是否为查询语句。 1:表示是查询语句。 0:表示不是查询语句。 frontend_ip varchar(200) 执行查询的FE的IP地址。
HBase集群使用Hadoop和HBase组件提供一个稳定可靠、性能优异、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。
既不会因为产生过多的存储文件(夹)导致频繁切换IO降低系统速度(并且会占用大量内存且出现频繁的内存-文件切换),也不会因为过少的存储文件夹(降低了并发度从而)导致写入命令阻塞。 应根据自己的数据规模和使用场景,平衡存储文件的存储组设置,以达到更好的系统性能。