检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HiveMetaStore客户端连接负载均衡 操作场景 Hive的MetaStore客户端连接支持负载均衡,即可通过服务端在ZooKeeper记录的连接数,选择连接最少的节点进行连接,防止大业务场景下造成某个MetaStore高负载,其他MetaStore空闲情况,开启此功能不影响原有连接方式。
断开网络连接等。这些清理操作可能会因为各种原因而耗时较长。为了避免清理操作无限期阻塞,可以设置一个最大超时时间。当清理操作超过这个时间时,系统会采取相应的措施,强制终止清理进程,确保集群资源的及时释放与高效利用。 约束与限制 本章节仅适用于MRS 3.2.0-LTS及之后版本。 配置参数
使用BulkLoad工具批量删除HBase数据 操作场景 BulkLoad工具支持根据rowkey的取值模式、范围、字段名、字段值对HBase数据做批量删除。 使用BulkLoad工具批量删除HBase数据 执行如下命令删除从“row_start”到“row_stop”的行,并且
如何在提交MapReduce任务时设置任务优先级 问题 如何在提交MapReduce任务时设置任务优先级? 回答 当您在客户端提交MapReduce任务时,可以在命令行中增加“-Dmapreduce.job.priority=<priority>”参数来设置任务优先级。格式如下:
访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错或部分页面不可用如何处理? 问: 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错,或部分功能不可用怎么办? 答: 访问HDFS、Hue、Yarn、
单击“组件管理”,查看各服务的角色操作状态,如果存在“未启动”的角色,单击“更多 > 启动实例”,启动该实例。 如果启动失败,根据任务列表里中任务的报错信息进行修复再尝试重启。 如果异常角色较多,可单击右上角的“管理操作”选择启动所有组件。 如果存在其他情况导致服务异常无法解决,请联系技术服务协助处理。
可自动清除 43006 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 JobHistory进程堆内存使用率过高,会影响JobHistory进程运行的性能,
的考虑,通信过程默认不加密,对于一些安全要求较高用户可以参考本章节操作进行加密。 约束与限制 该章节仅适用于MRS 3.x及之后版本。 对系统的影响 执行加密操作时,会自动重启Controller和所有Agent,重启期间会造成FusionInsight Manager暂时中断。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务性能下降或者个别业务出现超时问题。 风险提示:在SuSE内核版本3.0以上或Red Hat 7.2版本,由于系统内核修改了网络读包丢包数的计数机制,在该系统下,即使网络正常运行,也可能会导
网络写包丢包率超过阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测网络写包丢包率,并把实际丢包率和阈值(系统默认阈值0.5%)进行比较,当检测到网络写包丢包率连续多次(默认值为5)超过阈值时产生该告警。 用户可通过“系统设置 > 阈值配置 > 设备 > 主机 > 网络写信息
否,执行步骤 7。 检查系统环境是否异常。 联系操作系统维护人员,检查操作系统是否存在异常。 是,恢复操作系统故障,执行步骤 8。 否,执行步骤 9 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行步骤 9 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。
TCP临时端口使用率超过阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测TCP临时端口使用率,并把实际使用率和阈值(系统默认阈值80%)进行比较,当检测到TCP临时端口使用率连续多次(默认值为5)超过阈值时产生该告警。 用户可通过“系统设置 > 阈值配置 > 主机 > 网络状态 > TCP临时端口使用率
参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 导致整个系统任务执行变慢阻塞。 可能原因 可能存在较大的任务阻塞了队列执行时长。
在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 问题 安全模式下,为什么在缓存中找不到HDFS_DELEGATION_TOKEN? 回答 在MapReduce中,默认情况下,任务完成之后,HDFS_DELEGATION_TOKEN将会被删除。因此如果在下一个任务
如何在提交MapReduce任务时设置任务优先级 问题 如何在提交MapReduce任务时设置任务优先级? 回答 当您在客户端提交MapReduce任务时,可以在命令行中增加“-Dmapreduce.job.priority=<priority>”参数来设置任务优先级。格式如下:
Streaming任务打印两次相同DAG日志 问题 在使用Spark Streaming时,使用以下命令运行程序: spark-submit -master yarn-client --conf spark.logLineage=true --jars $SPARK_HOME/j
使用BulkLoad工具批量导入HBase数据 操作场景 您可以按照自定义的方式,通过命令批量导入数据到HBase中并创建索引。 您可以在“configuration.xml”文件中定义多个方式来批量导入数据。导入数据时可不创建索引。 列的名称不能包含特殊字符,只能由字母、数字和下划线组成。
使用BulkLoad工具批量更新HBase数据 操作场景 HBase BulkLoad工具支持根据RowKey的命名规则、RowKey的范围、字段名以及字段值进行批量更新数据。 使用BulkLoad工具批量更新HBase数据 执行如下命令更新从“row_start”到“row_s
在集群内节点使用LoadIncrementalHFiles批量导入数据,报错权限不足 问题 在普通集群中手动创建Linux用户,并使用集群内DataNode节点执行批量导入时,为什么LoadIncrementalHFiles工具执行失败报“Permission denied”的异常?
在ResourceManager重启后,应用程序会移回原来的队列 问题 将应用程序从一个队列移到另一个队列时,为什么在RM(ResourceManager)重启后,应用程序会被移回原来的队列? 回答 这是RM的使用限制,应用程序运行过程中移动到别的队列,此时RM重启,RM并不会在状态存储中存储新队列的信息。