检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统每60秒周期性检测TokenServer进程的垃圾回收(GC)占用时间,当连续5次检测到TokenServer进程的垃圾回收(GC)时间超出阈值(默认12秒)时,产生该告警。 当系统检测到垃圾回收(GC)时间小于阈值时,告警恢复。
Kafka样例程序开发思路 场景说明 Kafka是一个分布式消息系统,在此系统上用户可以做一些消息的发布和订阅操作,假定用户要开发一个Producer,让其每秒向Kafka集群某Topic发送一条消息,另外还需要实现一个Consumer,订阅该Topic,实时消费该类消息。 开发思路
Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性,主要用于处理活跃的流式数据。 Kafka有很多适用的场景:消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点: 高吞吐量 消息持久化到磁盘 分布式系统易扩展 容错性好
的操作系统磁盘分区说明如表1所示。 表1 MRS集群节点OS盘分区说明 分区类型 分区目录 容量 用途 OS分区 / 220GB 操作系统根分区目录和程序存放目录,包括了所有目录(除去下面指定的目录)。 /tmp 10GB 临时文件存放目录。 /var 10GB 操作系统运行目录。
QAS实例可对用户的SQL执行历史记录提供自动感知、自动学习、自动诊断服务,开启物化视图推荐能力后,系统能自动学习并推荐对业务最有价值的物化视图SQL,使HetuEngine具备自动预计算加速能力,在相关场景下在线查询效率获得倍数提升,同时有效降低系统负载压力。 前提条件 集群运行正常并至少安装一个QAS实例。 已创建用于访问HetuEngine
ALM-29107 Tserver进程内存使用百分比超过阈值 告警解释 系统每60秒周期性检测Kudu的服务状态,当检测到Kudu Tserver进程内存使用百分比超过阈值,此时产生该告警。 Tserver进程内存使用百分比正常时,系统认为Kudu实例服务恢复,告警清除。 告警属性 告警ID 告警级别
如果用户在KafkaUI界面的“Alarms”中配置了需要上报的Kafka消息积压告警规则(默认不存在Kafka消息积压告警规则),则系统将按照如下规则进行上报: 系统每60秒周期性检测所有用户配置的消费者组订阅的Topic,当连续5次检测到消费者在消费Topic时,其消费进度(offset
本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统每60秒周期性检测TokenServer服务直接内存使用状态,当连续5次检测到TokenServer实例直接内存使用率超出阈值(最大内存的80%)时,产生该告警。 当系统检测到TokenServer直接内存使用率小于或等于阈值时,告警恢复。
Journalnode数据不同步(2.x及以前版本) 告警解释 在主NameNode节点上,系统每5分钟检测一次集群中所有JournalNode节点的数据同步性。如果有JournalNode节点的数据不同步,系统产生该告警。 当Journalnode数据同步5分钟后,告警恢复。 告警属性 告警ID
Flume服务不可用(2.x及以前版本) 告警解释 告警模块按180秒周期检测Flume服务状态,当检测到Flume服务异常时,系统产生此告警。 当系统检测到Flume服务恢复正常,且告警处理完成时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 24000 致命 是 告警参数
参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 网口名 产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务延迟:主机网络写吞吐率
来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 设备分区 产生告警的磁盘分区。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务失败:文件系统无法正常写入时,如
来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务失败:主机文件句柄使用率超过阈值时,系统应用无法打开文件、网络
Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性,主要用于处理活跃的流式数据。 Kafka有很多适用的场景:消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点: 高吞吐量 消息持久化到磁盘 分布式系统易扩展 容错性好
Kafka样例程序开发思路 场景说明 Kafka是一个分布式消息系统,在此系统上用户可以做一些消息的发布和订阅操作,假定用户要开发一个Producer,让其每秒向Kafka集群某Topic发送一条消息,另外还需要实现一个Consumer,订阅该Topic,实时消费该类消息。 开发思路
过程中找到关键瓶颈点,解决性能问题。 图1 调优流程 表1 调优流程说明 流程 描述 系统调优 对OS操作系统级参数和数据库的调优,充分地利用主机的CPU、内存、I/O和网络资源,提升整个系统查询的吞吐量,同时数据库参数也调整到最优状态。 SQL调优 审视业务所用SQL语句是否存在可优化空间,包括:
Editors > Hive”。 在“Databases”选择一个Hive中的数据库,默认数据库为“default”。 系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。 单击指定的表名,可以显示表中所有的列。 在HiveQL语句编辑区输入HiveQL语句。
提升HDFS写数据性能 操作场景 HDFS写数据性能直接影响整个系统的效率。提升写性能可以减少数据写入时间,加快数据处理流程,提高系统的整体响应速度。通过全面提升HDFS的写数据性能,可以使得HDFS集群更适应自身的业务情况,从而提升HDFS的写性能。 约束与限制 本章节适用于MRS
配置客户端NameNode黑名单功能 操作场景 在系统缺省场景中,一旦某进程中的一个NameNode发生故障,在同一进程中的所有HDFS客户端实例都会尝试再次连接NameNode,导致上层应用长时间等待超时。当位于同一JVM进程中的客户端对无法访问的NameNode进行连接时,会对系统造成负担。 为了避免以
参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 网口名 产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务延迟:主机网络读吞吐率