检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“集群 > 待操作集群的名称 > 服务 > Loader > 更多 > 重启服务”,输入管理员密码重启Loader服务。
选择“集群 > 服务 > Loader > 更多 > 重启服务”,输入管理员密码重启Loader服务。
Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 磁盘可用率低于阈值的NodeManager节点可能无法提供Yarn服务。 容器减少,集群性能可能下降。 可能原因 NodeManager节点所在主机的硬盘空间不足。
表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,推荐Windows7以上版本。 运行环境:Linux系统。
Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS NameNode内存使用率过高,会影响HDFS的数据读写性能。 可能原因 HDFS NameNode配置的内存不足。 处理步骤 清除无用文件。
Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS DataNode内存使用率过高,会影响到HDFS的数据读写性能。 可能原因 HDFS DataNode配置的内存不足。 处理步骤 清除无用文件。
“LOAD DATA LOCAL INPATH”命令可以完成从本地文件系统加载文件到Impala的需求,但是当指定“LOCAL”时,这里的路径指的是当前连接的“Impalad”的本地文件系统的路径。 父主题: 开发Impala应用
原因分析 通过后台日志看到一些Java安全随机数的日志,在JDK中,SecureRandom算法底层依赖操作系统提供的随机数据;在Linux中,与之相关的是“/dev/random”和“/dev/urandom”。
开发思路 ClickHouse作为一款独立的DBMS系统,使用SQL语言就可以进行常见的操作。以下开发程序示例中,全部通过clickhouse-jdbc API接口来进行描述。 设置属性 建立连接 创建库 创建表 插入数据 查询数据 删除表 父主题: 开发ClickHouse应用
场景说明 一个动态单词统计系统,数据源为持续生产随机文本的逻辑单元,业务处理流程如下: 数据源持续不断地发送随机文本给文本拆分逻辑,如“apple orange apple”。
“LOAD DATA LOCAL INPATH”命令可以完成从本地文件系统加载文件到Impala的需求,但是当指定“LOCAL”时,这里的路径指的是当前连接的“Impalad”的本地文件系统的路径。 父主题: 开发Impala应用
在有很多小文件时,Spark会启动很多Task,此时当SQL逻辑中存在Shuffle操作时,会大大增加hash分桶数,严重影响系统性能。
已启用Ranger授权的组件(HDFS与Yarn除外),Manager上非系统默认角色的权限将无法生效,需要通过配置Ranger策略为用户组赋权。 图1 启用Ranger鉴权 滚动重启服务或者重启服务。 父主题: 使用Ranger(MRS 3.x)
在有很多小文件时,Spark会启动很多Task,此时当SQL逻辑中存在Shuffle操作时,会大大增加hash分桶数,严重影响系统性能。
配置描述 参数入口: 在Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”,选择“全部配置”,在搜索框中输入参数名称“mapreduce.job.am.memory.policy”。
已启用Ranger授权的组件(HDFS与Yarn除外),Manager上非系统默认角色的权限将无法生效,需要通过配置Ranger策略为用户组赋权。 图1 启用Ranger鉴权 滚动重启服务或者重启服务。 父主题: 使用Ranger
<系统域名>@<系统域名>”。
告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 大量进程连接到ZooKeeper,导致ZooKeeper连接数被占满,无法对外正常提供服务,导致上游组件(例如Yarn、Flink、Spark等)服务异常。
Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 NameNode无法及时处理来自HDFS客户端、依赖于HDFS的上层服务、DataNode等的RPC请求,表现为访问HDFS服务的业务运行缓慢,严重时会导致HDFS服务不可用。