检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在默认参数下执行失败,出现Futures timed out和OOM错误。 因为数据量大,task数多,而wordcount每个task都比较小,完成速度快。
在默认参数下执行失败,出现Futures timed out和OOM错误。 因为数据量大,task数多,而wordcount每个task都比较小,完成速度快。
Kafka应用开发简介 Kafka简介 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性,主要用于处理活跃的流式数据。 Kafka有很多适用的场景:消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。
Kafka样例程序开发思路 场景说明 Kafka是一个分布式消息系统,在此系统上用户可以做一些消息的发布和订阅操作,假定用户要开发一个Producer,让其每秒向Kafka集群某Topic发送一条消息,另外还需要实现一个Consumer,订阅该Topic,实时消费该类消息。
图1 调优流程 表1 调优流程说明 流程 描述 系统调优 对OS操作系统级参数和数据库的调优,充分地利用主机的CPU、内存、I/O和网络资源,提升整个系统查询的吞吐量,同时数据库参数也调整到最优状态。
系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。 单击指定的表名,可以显示表中所有的列。 在HiveQL语句编辑区输入HiveQL语句。
提升HDFS写数据性能 操作场景 HDFS写数据性能直接影响整个系统的效率。提升写性能可以减少数据写入时间,加快数据处理流程,提高系统的整体响应速度。通过全面提升HDFS的写数据性能,可以使得HDFS集群更适应自身的业务情况,从而提升HDFS的写性能。
运行熔断规则:基于SQL语句运行时的系统动态信息(如CPU、内存、IO等)的规则进行阻断。 对于静态拦截规则、动态拦截规则,系统在SQL请求满足条件时,可对该请求进行中止或者提示处理。对于运行熔断规则,系统在SQL请求满足条件时,会阻断该SQL任务。
运行MRS作业时如何读取OBS加密数据 MRS 1.9.x支持使用OBS文件系统中加密后的数据来运行作业,同时支持将加密后的作业运行结果存储在OBS文件系统中。目前仅支持通过OBS协议访问数据。
ALM-24000 Flume服务不可用 告警解释 告警模块按180秒周期检测Flume服务状态,当检测到Flume服务异常时,系统产生此告警。 当系统检测到Flume服务恢复正常,且告警处理完成时,告警恢复。
告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无 父主题: MRS集群告警处理参考
附加信息 触发条件 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 用户无法使用Kudu服务。 可能原因 存在KuduTserver实例内存占用率过高。
附加信息 触发条件 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 用户无法使用Kudu服务。 可能原因 存在KuduTserver实例CPU占用率过高。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Guardian TokenServer实例堆内存溢出可能导致业务无法正常访问OBS。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Doris服务读写性能变慢。 可能原因 业务并发量较大,导致排队任务较多。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。
ALM-12049 网络读吞吐率超过阈值 告警解释 系统每30秒周期性检测网络读吞吐率,并把实际吞吐率和阈值(系统默认阈值80%)进行比较,当检测到网络读吞吐率连续多次(默认值为5)超过阈值时产生该告警。
对系统的影响 如果IO持续飙高,会对业务操作产生影响导致业务受损,具体可能会产生如下影响: 系统性能下降:卡IO会导致系统I/O性能下降,从而影响系统的响应速度和吞吐量。这可能会导致客户的业务运行变慢(例如:作业提交运行变慢、页面响应迟钝、接口响应超时等),甚至出现崩溃或错误。
ALM-16009 Map数超过阈值 告警解释 系统每30秒周期性检测执行的HQL的Map数是否超过阈值,超过阈值发出告警。系统默认的平滑次数为3次,默认阈值为5000。
原因分析 用户修改了虚机系统的“/dev/null”的权限值为775。 处理步骤 以root用户登录集群的任意一个Master节点。 登录成功后,执行chmod 666 /dev/null命令,修改“/dev/null”的权限值为“666”。
Configuration() { @Override public AppConfigurationEntry[] getAppConfigurationEntry(String name) { return