检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Structured Streaming使用RocksDB做状态存储 操作场景 状态信息存储在默认的HDFS BackedStateStore，随着状态数据的增多，垃圾回收器需要处理更多的对象，从而增加了垃圾回收的时间和开销，导致JVM GC占用大量时间。可以通过配置参数spark
HDFS容量达到100%导致上层服务HBase、Spark等不可用 用户问题 集群的HDFS容量使用达到100%，HDFS服务状态为只读，导致上层服务HBase、Spark等上报服务不可用告警。 问题现象 HDFS使用容量100%，磁盘容量只使用85%左右，HDFS服务状态为只读，导致上层服务HBase、Spark等上报服务不可用。
由于集群磁盘容量不足，会影响到HDFS的数据写入，HDFS磁盘空间使用率超过阈值，因此导致HDFS服务异常。HDFS服务异常则会导致Spark、Hive和Yarn服务不可用。 根据该集群出现磁盘容量不足产生Spark、Hive和Yarn服务不可用的报警，扩容磁盘后不再告警，可以判断是磁盘容量不足引起HDFS功能故障所导致。
图1 下载认证凭据 配置Flume角色服务端参数。 使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight Manager，选择“集群 > 服务 > Flume > 配置工具”。 图2
具体步骤可参见初始化数据盘对新磁盘进行初始化操作。 执行lsblk命令，查看新增磁盘分区信息。 图2 查看新增磁盘（分区） 使用df -TH获取文件系统类型。 图3 获取文件系统类型 使用对应的文件系统类型对新磁盘（分区）进行格式化。 例如：mkfs.ext4 /dev/sdd1 执行如下命令挂载新磁盘。 mount
ClickHouse长时间并发满，导致不可服务，如何快速恢复 问题描述 ClickHouse并发满，新的请求无法执行，影响服务的可用性，报错信息如下： DB::Exception: Too many simultaneous queries. Maximum: 100 处理步骤
structured streaming功能与可靠性介绍 Structured Streaming支持的功能 支持对流式数据的ETL操作。 支持流式DataFrames或Datasets的schema推断和分区。 流式DataFrames或Datasets上的操作：包括无类型，类
存在Broker因为磁盘占有率达到100%导致Broker故障的情况。 登录FusionInsight Manager，选择“集群 > 服务 > Kafka > 实例”，将运行状态为“正在恢复”的Broker实例停止并记录实例所在节点的管理IP地址以及对应的“broker.id
有大量分区时执行drop partition操作失败 问题背景与现象 执行drop partitions操作，执行异常： MetaStoreClient lost connection. Attempting to reconnect. | org.apache.hadoop.hive
line处理数据，时延毫秒级，且兼具可靠性。 Flink整个系统包含三个部分： Client Flink Client主要给用户提供向Flink系统提交用户任务（流式作业）的能力。 TaskManager Flink系统的业务执行节点，执行具体的用户任务。TaskManager可
Spark Structured Streaming状态操作样例程序 Spark Structured Streaming状态操作样例程序开发思路 Spark Structured Streaming状态操作样例程序（Scala） 父主题： 开发Spark应用
Spark Structured Streaming对接Kafka样例程序 Spark Structured Streaming对接Kafka样例程序开发思路 Spark Structured Streaming对接Kafka样例程序（Scala） 父主题： 开发Spark应用
Spark Structured Streaming对接Kafka样例程序 Spark Structured Streaming对接Kafka样例程序开发思路 Spark Structured Streaming对接Kafka样例程序（Scala） 父主题： 开发Spark应用
Spark Structured Streaming状态操作样例程序 Spark Structured Streaming状态操作样例程序开发思路 Spark Structured Streaming状态操作样例程序（Scala） 父主题： 开发Spark应用
MRS集群内的节点中可以部署爬虫服务吗？ 问： MRS集群内的节点中可以部署爬虫服务吗？ 答： 为正常保障集群稳定运行，MRS集群内节点中不能部署爬虫服务或其他第三方服务。 父主题： 周边生态对接类
连接ClickHouse服务端异常报错“code: 516”如何处理？ 问题现象 使用clickhouse client命令连接ClickHouse服务端，报错： ClickHouse exception, code: 516, host: 192.168.0.198, port:
ALM-26052 Storm服务可用Supervisor数量小于阈值（2.x及以前版本） 告警解释 系统每60秒周期性检测Supervisor数量，并把实际Supervisor数量和阈值相比较。当检测到Supervisor数量低于阈值时产生该告警。 用户可通过“系统设置 > 阈值配置”修改阈值。
Yarn常用配置参数 队列资源分配 Yarn服务提供队列给用户使用，用户分配对应的系统资源给各队列使用。完成配置后，您可以单击“刷新队列”按钮或者重启Yarn服务使配置生效。 参数入口： 用户可在Manager系统中，选择“租户资源 > 动态资源计划 > 队列配置”。 参数说明以
RegionServer剩余内存不足导致HBase服务启动失败 用户问题 RegionServer剩余内存不足导致HBase服务启动失败。 原因分析 RegionServer启动时节点剩余内存不足，导致无法启动实例。排查步骤如下： 登录Master节点，到“/var/log/Bi
集群未安装Hive服务时Hue原生页面无法正常显示 问题 集群没有安装Hive服务时，Hue服务原生页面显示空白。 回答 MRS 3.x及之后版本，Hue依赖Hive组件，当集群没有安装Hive服务时，登录Hue服务原生页面会显示空白。 如果出现此情况，首先需要检查当前集群是否安
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
