检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 NodeManager堆内存使用率过高,会影响Yarn任务提交和运行的性能,甚至可能会造成内存溢出导致Yarn服务崩溃。
表2 日志级别 级别 描述 FATAL FATAL表示当前事件处理出现严重错误信息,可能导致系统崩溃。 ERROR ERROR表示当前事件处理出现错误信息,系统运行出错。 WARN WARN表示当前事件处理存在异常信息,但认为是正常范围,不会导致系统出错。
示例 DROP INDEX if exists productNameIndexTable ON productdb.productSalesTable; 系统响应 二级索引表将被删除,索引信息将在CarbonData表中被清除,删除成功的消息将记录在系统日志中。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 直接内存溢出可能导致服务崩溃,Flume实例不可用。 可能原因 节点Flume实例直接内存使用率过大,或配置的直接内存不合理,导致使用率超过阈值。 处理步骤 检查直接内存使用率。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 直接内存溢出可能导致服务崩溃。 可能原因 节点UserSync实例直接内存使用率过大,或配置的直接内存不合理,导致使用率超过阈值。 处理步骤 检查直接内存使用率。
Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS数据读操作接口调用成功率小于阈值,会影响上层大数据计算业务的正常执行,导致某些计算任务的执行失败。 可能原因 OBS服务端出现执行异常或严重超时。 处理步骤 检查堆内存使用率。
表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,推荐Windows7以上版本。 运行环境:Linux系统。 安装JDK 开发和运行环境的基本配置。版本要求如下: MRS集群的服务端和客户端仅支持自带的Oracle JDK(版本为1.8),不允许替换。
系统域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数值获取。
规划MapReduce统计样例程序数据 将待处理的日志文件放置在HDFS系统中。 在Linux系统中新建文本文件,将待处理的数据复制到文件中。
计费样例 计费场景 某用户于2023/03/18 15:30:00购买了一个按需计费的MRS普通版分析集群,规格配置如下: master_node_default_group节点组(简称Master节点组): 节点个数:3 节点规格:c6.2xlarge.2(8vCPUs,16GB) 系统盘
数据源调优 在实际的应用场景中,数据源为了保证数据的容错性,会将数据保存在本地磁盘中,而Streaming的计算结果往往全部在内存中完成,数据源很有可能成为流式系统的最大瓶颈点。
例如,用户A提交的应用正在运行,此时用户B登录系统并查看应用列表,用户B不应该访问到A用户的应用信息。 配置描述 查看Yarn服务配置参数 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入表1中参数名称。
数据源调优 在实际的应用场景中,数据源为了保证数据的容错性,会将数据保存在本地磁盘中,而Streaming的计算结果全部在内存中完成,数据源很有可能成为流式系统的最大瓶颈点。
此章节仅说明分区表指定存储源的能力,关于Hive如何在存算分离场景下对接OBS,对接指导可参考Hive对接OBS文件系统章节。 前提条件 已安装Hive客户端。 操作示例 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 大量应用任务运行失败。 运行失败的任务需要重新提交。 可能原因 任务出于某种错误运行失败。 处理步骤 检查告警详情。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 非堆内存溢出可能导致服务崩溃,服务崩溃后无法使用Oozie服务调度任务。 可能原因 该节点Oozie实例非堆内存使用率过大,或配置的非堆内存不合理,导致使用率超过阈值。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Kafka可用内存不足,会造成内存溢出导致Broker实例崩溃,影响该Broker正常提供读写服务。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件 对系统的影响 Worker3进程GC时间过长,会影响Worker3进程运行的性能,甚至造成Worker3进程不可用。
从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 在启用了安全服务的集群中执行如下操作,需要在数据库中具有UPDATE权限及对加载数据文件具有owner权限和读写权限。
从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 在启用了安全服务的集群中执行如下操作,需要在数据库中具有UPDATE权限及对加载数据文件具有owner权限和读写权限,详情请参见Hive应用开发概述。