检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对系统的影响 无。 可能原因 有用户手动终止了正在运行的YARN任务。 处理步骤 排查YARN日志和审计日志,查看终止任务操作的下发者,确认终止任务的原因。 参考信息 无。 父主题: MRS集群告警处理参考
告警和事件的历史记录 告警和事件的历史记录区显示了当前主机上报的关键告警与事件记录,系统最多可显示20条历史记录。 图表 主机详情页面的右侧展示图表区,包含该主机的各个关键监控指标报表。 用户可以单击右上角的“ > 定制”,自定义在图表区展示的监控报表。
obs-connector 表1 obs-connector数据源连接属性 参数 说明 桶名 保存源数据的OBS文件系统。 源目录或文件 源数据实际存储的形态,可能是文件系统包含一个目录中的全部数据文件,或者是文件系统包含的单个数据文件。
本示例提供了基于C语言的HDFS文件系统连接、文件操作如创建文件、读写文件、追加文件、删除文件等。相关业务场景介绍请参见HDFS C API接口介绍。 父主题: HDFS开发指南(安全模式)
本示例提供了基于C语言的HDFS文件系统连接、文件操作如创建文件、读写文件、追加文件、删除文件等。相关业务场景介绍请参见HDFS C API接口介绍。 父主题: HDFS开发指南(普通模式)
配置参数 参数入口: 在Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”。在搜索框中输入参数名称。
参数配置 登录FusionInsight Manager系统。 详细操作请参考访问集群Manager。
对系统的影响 无。 可能原因 Hive SQL语法有问题,导致Hive SQL执行失败。 处理步骤 查看运行失败的Hive SQL,修改为正确语法后再执行。 参考信息 无。 父主题: MRS集群告警处理参考
安装补丁过程中对现行系统的影响 升级过程中会重启OMS,会导致MRS Manager页面无法访问,预计持续3-5分钟。 升级过程中会影响弹性伸缩以及MRS Manager上正在运行的任务,升级前请确认已经关闭弹性伸缩,并且MRS Manager上没有正在运行的任务。
对系统的影响 无。 可能原因 提交的YARN作业程序有问题,例如: spark提交任务参数错误导致。 处理步骤 查看运行失败的作业日志,找到作业失败的具体原因,然后修改并重新提交作业。 参考信息 无。 父主题: MRS集群告警处理参考
cd/opt/hadoopclient kinit<用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input(hdfs dfs命令有同样的作用),创建对应目录。
在未启用Kerberos认证的集群中使用HCatalog客户端,系统将以当前登录操作系统用户来执行DDL命令。 常用的Hive Beeline客户端命令如下表所示。
可列出文件系统上“huawei”目录下所有目录和文件的详细信息。 LISTSTATUS将在一个请求中返回所有子文件和文件夹的信息。
Miranda,32 Karlie,23 Candice,27 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /data(hdfs dfs命令有同样的作用),创建对应目录。
用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 父主题: Kafka应用开发常见问题
通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控,以及重新执行已经失败的任务。
<系统域名>@<系统域名>;user.principal=sparkuser;user.keytab=/opt/FIclient/user.keytab;" val config: Configuration = new Configuration() config.addResource
处理步骤 打开操作系统审计日志,给审计日志增加记录kill命令的规则,即可定位是何进程发送的命令。 操作影响 打印审计日志,会消耗一定操作系统性能,经过分析仅影响不到1%。 打印审计日志,会占用一定磁盘空间。
高可用HA部署架构 MRS服务提供了基于ELB的HA部署架构,可以将用户访问流量自动分发到多台后端节点,扩展系统对外的服务能力,实现更高水平的应用容错。
告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考