检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装MRS集群补丁 查看MRS集群补丁信息 安装MRS集群补丁 安装MRS集群滚动补丁 修复隔离MRS集群主机补丁 父主题: MRS集群运维
运行MRS作业 运行MapReduce作业 运行SparkSubmit作业 运行HiveSql作业 运行SparkSql作业 运行Flink作业 运行HadoopStream作业 父主题: 提交MRS作业
Flink性能调优 优化Flink内存GC参数 配置Flink任务并行度 配置Flink任务进程参数 优化Flink Netty网络通信参数 父主题: 使用Flink
Hive用户权限管理 Hive用户权限说明 创建Hive角色 配置Hive表、列或数据库的用户权限 配置Hive业务使用其他组件的用户权限 父主题: 使用Hive
查看MRS集群日志 MRS集群日志概述 查看MRS云服务操作日志 查看历史MRS集群信息 查看MRS集群审计日志 查看MRS组件角色实例日志 在线检索MRS集群日志 下载MRS集群日志 采集MRS集群服务堆栈信息 配置MRS组件默认日志级别与归档文件大小 配置MRS集群审计日志本地备份数
管理MRS集群用户 集群用户权限概述 MRS集群用户账号一览表 管理MRS集群角色 管理MRS集群用户组 管理MRS集群用户 解锁MRS集群用户 配置MRS集群用户密码策略 配置MRS集群用户私有属性 父主题: 管理MRS集群
MRS集群补丁说明 EulerOS补丁说明 MRS_3.3.1-LTS.1.2补丁说明 MRS_3.3.1-LTS.1.1补丁说明 MRS 3.2.0-LTS.1.9补丁说明 MRS 3.2.0-LTS.1.8补丁说明 MRS 3.2.0-LTS.1补丁说明 MRS 3.1.5补丁说明
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 GC时间超出阈值,会影响JobHistory2
检查当前系统中的HA证书文件是否即将过期。如果剩余有效期小于或等于30天,产生该告警。剩余有效期大于30天,告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 45654 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名
如何通过curl命令访问Manager REST API 说明 用户可通过openssl version查看系统的openssl版本,如果版本低于OpenSSL 1.0.1,需要为操作系统安装较高版本的openssl,以支持使用TLSv1.1和TLSv1.2与集群交互。 操作样例及步骤
protocol' = 'SASL_PLAINTEXT', 'properties.kerberos.domain.name' = 'hadoop.系统域名', -- 设置Source并发数 'source.parallelism' = '2' ); CREATE TABLE KafkaSink(
对表执行clean操作时需要表的owner才可以执行。 如果需要修改clean默认的参数,需要在执行前以set方式设置好需要保留的commit数等参数。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明
参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 占用系统资源,业务进程响应变慢。 可能原因 主机中正
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 NodeManager可用直接内存不足,可能会造成内存溢出导致服务崩溃。 可能原因
编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。 若运行“Spark on
是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 无法切换到omm用户。 无法创建新的omm进程。 服务或进程故障之后无法重启。 可能原因 用户CGroup任务数使用率过高,超过阈值90%。
Server。 问题2:确认JDBCServer服务是否正常,查看对应的端口是否正常监测。 处理步骤 问题1:需要使用特定的URL和MRS Spark的自带的jar包来连接JDBCServer。 问题2:确认JDBCServer服务是否正常,查看对应的端口是否正常监测。 父主题:
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults
访问集群Manager 访问MRS Manager(MRS 3.x之前版本) 访问FusionInsight Manager(MRS 3.x及之后版本) 父主题: 常见操作
使用MRS客户端 安装客户端(3.x及之后版本) 安装客户端(3.x之前版本) 更新客户端(3.x及之后版本) 更新客户端(3.x之前版本) 父主题: 常见操作