检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka应用开发简介 Kafka简介 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。
系统将自动显示数据库中的所有表。可以输入表名关键字，系统会自动搜索包含此关键字的全部表。 单击指定的表名，可以显示表中所有的列。 在HiveQL语句编辑区输入HiveQL语句。
当位于同一JVM进程中的客户端对无法访问的NameNode进行连接时，会对系统造成负担。
提升HDFS写数据性能 操作场景 HDFS写数据性能直接影响整个系统的效率。提升写性能可以减少数据写入时间，加快数据处理流程，提高系统的整体响应速度。通过全面提升HDFS的写数据性能，可以使得HDFS集群更适应自身的业务情况，从而提升HDFS的写性能。
Kafka样例程序开发思路 场景说明 Kafka是一个分布式消息系统，在此系统上用户可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外还需要实现一个Consumer，订阅该Topic，实时消费该类消息。
原因分析 当使用load导入数据到Hive表的时候，属于需要跨文件系统的情况（例如原数据在HDFS上，而Hive表数据存放在OBS上），并且文件长度大于阈值（默认32 MB），则会触发使用distcp的MapReduce任务来执行数据迁移操作。
图1 调优流程 表1 调优流程说明 流程 描述 系统调优 对OS操作系统级参数和数据库的调优，充分地利用主机的CPU、内存、I/O和网络资源，提升整个系统查询的吞吐量，同时数据库参数也调整到最优状态。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Guardian TokenServer实例堆内存溢出可能导致业务无法正常访问OBS。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Doris服务读写性能变慢。 可能原因 业务并发量较大，导致排队任务较多。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。
ALM-24000 Flume服务不可用 告警解释 告警模块按180秒周期检测Flume服务状态，当检测到Flume服务异常时，系统产生此告警。 当系统检测到Flume服务恢复正常，且告警处理完成时，告警恢复。
告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 不涉及。 父主题： MRS集群告警处理参考
对系统的影响 如果IO持续飙高，会对业务操作产生影响导致业务受损，具体可能会产生如下影响： 系统性能下降：卡IO会导致系统I/O性能下降，从而影响系统的响应速度和吞吐量。这可能会导致客户的业务运行变慢（例如：作业提交运行变慢、页面响应迟钝、接口响应超时等），甚至出现崩溃或错误。
ALM-16009 Map数超过阈值 告警解释 系统每30秒周期性检测执行的HQL的Map数是否超过阈值，超过阈值发出告警。系统默认的平滑次数为3次，默认阈值为5000。
附加信息 触发条件 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 用户无法使用Kudu服务。 可能原因 存在KuduTserver实例内存占用率过高。
附加信息 触发条件 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 用户无法使用Kudu服务。 可能原因 存在KuduTserver实例CPU占用率过高。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Guardian TokenServer实例GC时间过长，导致TokenServer响应缓慢，业务无法正常访问OBS。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 可能导致任务堆积，无法及时处理。 可能原因 集群运算能力低于任务提交速率，导致任务提交后无法及时运行处理。 处理步骤 检查Yarn页面的内存和vcore使用情况。
--connection-manager 指定连接管理类。 --driver jdbc 连接驱动包。 --help 帮助信息。 --password 连接数据库密码。 --username 连接数据库的用户名。 --verbose 在控制台打印详细信息。
可参考管理Kafka主题中的消息查看数据消费情况。 父主题： 使用Flume
登录Oozie管理页面，查看运行情况。 使用oozieuser用户，登录Oozie WebUI页面：https://oozie角色的ip地址:21003/oozie 。 Oozie的WebUI界面中，可在页面表格根据jobid查看已提交的工作流信息。
