检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cd/opt/hadoopclient kinit<用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。 在Linux系统HDFS客户端使用命令hadoop fs -putlog1.txt
Background线程使用率超过阈值 ALM-16004 Hive服务不可用 ALM-16005 Hive服务进程堆内存使用超出阈值 ALM-16006 Hive服务进程直接内存使用超出阈值 ALM-16007 Hive GC 时间超出阈值 ALM-16008 Hive服务进程非堆内存使用超出阈值 ALM-16009
登录Manager界面，选择“集群 > 服务 > Spark2x > 配置 > 全部配置 > JobHistory2x > 自定义 > custom”，增加自定义配置项：spark.httpdProxy.enable=true。 图1 自定义配置项 参考上一步，分别选择“集群 > 服务 > Spark2x
sh rollback_hdfs_file.sh 回退完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 回退客户端补丁 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端升级或者回退的操作。 登录客户端所在节点并执行以下命令：
解决Spark的JDBCServer进程注入进程Z状态故障、故障注入期间进程不自愈、无进程异常告警、Spark任务已提交失败、无Spark应用不可用告警的问题 解决Spark的JDBC进程kill后，7min自愈，且无告警上报，存在可靠性风险的问题 解决Spark的JDBCServer进
sh rollback_hdfs_file.sh 回退完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 回退客户端补丁 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端升级或者回退的操作。 登录客户端所在节点并执行以下命令：
行建库、表脚本迁移、重建元数据操作时需要特别注意，防止错误。 操作步骤 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 若集群详情页面没有“组件管理”页
sh rollback_hdfs_file.sh 回退完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 回退客户端补丁 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端回退的操作。 登录客户端所在节点并执行以下命令：
ructuredStreamingJavaExample 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 sparknormal-examples/SparkStructuredSt
cd/opt/hadoopclient kinit<用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。 在Linux系统HDFS客户端使用命令hadoop fs -putlog1.txt
执行以下命令升级HDFS上的zip包： sh update_hdfs_file.sh 升级完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer实例。 创建Doris自定义函数 如果安装补丁前，删除了Doris的自定义函数，安装完补丁后，需要重新创建，安装前没有做此操作，则跳过。
执行以下命令升级HDFS上的zip包： sh update_hdfs_file.sh 升级完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 重新打开指标共享 安装完此补丁后，如果之前集群已经开启指标共享功能，需要先单击关闭指标共享，再重新开启指标共享功能。
执行以下命令升级HDFS上的zip包： sh update_hdfs_file.sh 升级完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 重新打开指标共享 安装完此补丁后，如果之前集群已经开启指标共享功能，需要先单击关闭指标共享，再重新开启指标共享功能。
查看MRS集群事件 在MRS集群中，告警和事件是保障系统稳定性、可靠性和性能的重要机制。 事件指系统运行中发生的状态变化或系统操作记录，用于系统行为的审计或者追踪。例如MRS集群中组件实例的启动、停止或主备倒换；MRS集群中节点慢盘隔离变化等。 MRS集群内常见的事件请参考表2。
者执行读操作。 HDFS文件系统中目录结构如表1所示。 表1 HDFS文件系统目录结构 路径 类型 简略功能 是否可以删除 删除的后果 /tmp/spark2x/sparkhive-scratch 固定目录 存放Spark/Spark2x JDBCServer中metastore
配置Spark动态脱敏 修改JDBCServer实例配置。登录FusionInsight Manager页面，选择“集群 > 服务 > Spark > 配置 > 全部配置 > JDBCServer（角色）”，修改如下参数，保存配置，并重启Spark服务。 使用Ranger鉴权场景，
update_hdfs_file.sh 升级完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 升级组件安装包 该操作可以解决添加服务、添加实例、新下载客户端场景下的补丁安装。 登录集群主OMS节点，执行以下命令。 su - omm cd /
laExample010 sparksecurity-examples/SparkStructuredStreamingJavaExample 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。
/Spark2x/component_env MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如JobHistory2x变更为JobHistory。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 kinit sparkuser 上传
配置NFS服务器存储NameNode元数据 操作场景 用户在部署集群前，可根据需要规划Network File System（简称NFS）服务器，用于存储NameNode元数据，以提高数据可靠性。 如果您已经部署NFS服务器，并已配置NFS服务，本操作提供集群侧的配置指导，为可选任务。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
