检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive数据库中的所有数据文件都可以存储在Hadoop HDFS文件系统上,Hive所有的数据操作也都是通过Hadoop HDFS接口进行的。 Hive与MapReduce组件的关系 Hive的数据计算依赖于MapReduce。
支持与MapReduce,Spark和其他Hadoop生态系统组件集成。 与Apache Impala的紧密集成,使其成为将HDFS与Apache Parquet结合使用的更好选择。
Yarn常用配置参数 队列资源分配 Yarn服务提供队列给用户使用,用户分配对应的系统资源给各队列使用。完成配置后,您可以单击“刷新队列”按钮或者重启Yarn服务使配置生效。 参数入口: 用户可在Manager系统中,选择“租户资源 > 动态资源计划 > 队列配置”。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Guardian TokenServer实例GC时间过长,导致TokenServer响应缓慢,业务无法正常访问OBS。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 可能导致任务堆积,无法及时处理。 可能原因 集群运算能力低于任务提交速率,导致任务提交后无法及时运行处理。 处理步骤 检查Yarn页面的内存和vcore使用情况。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 集群已经存在的任务无法运行。 集群可接收新的Storm任务,但是无法运行。 可能原因 集群中Supervisor处于异常状态。 处理步骤 检查Supervisor状态。
在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。 单击指定的表名,可以显示表中所有的列。 在HiveQL语句编辑区输入HiveQL语句。
提升HDFS写数据性能 操作场景 HDFS写数据性能直接影响整个系统的效率。提升写性能可以减少数据写入时间,加快数据处理流程,提高系统的整体响应速度。通过全面提升HDFS的写数据性能,可以使得HDFS集群更适应自身的业务情况,从而提升HDFS的写性能。
Kafka应用开发简介 Kafka简介 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性,主要用于处理活跃的流式数据。 Kafka有很多适用的场景:消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。
Kafka样例程序开发思路 场景说明 Kafka是一个分布式消息系统,在此系统上用户可以做一些消息的发布和订阅操作,假定用户要开发一个Producer,让其每秒向Kafka集群某Topic发送一条消息,另外还需要实现一个Consumer,订阅该Topic,实时消费该类消息。
图1 调优流程 表1 调优流程说明 流程 描述 系统调优 对OS操作系统级参数和数据库的调优,充分地利用主机的CPU、内存、I/O和网络资源,提升整个系统查询的吞吐量,同时数据库参数也调整到最优状态。
运行熔断规则:基于SQL语句运行时的系统动态信息(如CPU、内存、IO等)的规则进行阻断。 对于静态拦截规则、动态拦截规则,系统在SQL请求满足条件时,可对该请求进行中止或者提示处理。对于运行熔断规则,系统在SQL请求满足条件时,会阻断该SQL任务。
运行MRS作业时如何读取OBS加密数据 MRS 1.9.x支持使用OBS文件系统中加密后的数据来运行作业,同时支持将加密后的作业运行结果存储在OBS文件系统中。目前仅支持通过OBS协议访问数据。
ALM-24000 Flume服务不可用 告警解释 告警模块按180秒周期检测Flume服务状态,当检测到Flume服务异常时,系统产生此告警。 当系统检测到Flume服务恢复正常,且告警处理完成时,告警恢复。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Guardian TokenServer实例堆内存溢出可能导致业务无法正常访问OBS。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Doris服务读写性能变慢。 可能原因 业务并发量较大,导致排队任务较多。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。
告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无 父主题: MRS集群告警处理参考
附加信息 触发条件 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 用户无法使用Kudu服务。 可能原因 存在KuduTserver实例内存占用率过高。
附加信息 触发条件 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 用户无法使用Kudu服务。 可能原因 存在KuduTserver实例CPU占用率过高。