检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
{系统域名}'。 系统域名:登录FusionInsight Manager界面,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 新数据写入失败,任务中断。 可能原因 集群磁盘容量已满。 BE节点间数据倾斜。
除了HBase产生的一些日志文件,HBase中的所有数据文件都可以存储在Hadoop HDFS文件系统上。
备份Manager数据(MRS 3.x及之后版本) 操作场景 为了确保FusionInsight Manager系统日常数据安全,或者系统管理员需要对Manager进行重大操作(如扩容、减容等)前后,需要对Manager数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复
if(args.length <1){ System.out.println("JavaHBaseMapPartitionExample {tableName} is missing an argument"); return
合并CBO优化 操作场景 Spark SQL默认支持基于规则的优化,但仅仅基于规则优化不能保证Spark选择合适的查询计划。CBO(Cost-Bsed Optimizer)是一种为SQL智能选择查询计划的技术。通过配置开启CBO后,CBO优化器可以基于表和列的统计信息,进行一系列的估算
if(args.length <1){ System.out.println("JavaHBaseMapPartitionExample {tableName} is missing an argument"); return
海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。
value " + i); } session.apply(insert); } // Call session.close() to end the session and ensure the rows are // flushed and errors are returned
value " + i); } session.apply(insert); } // Call session.close() to end the session and ensure the rows are // flushed and errors are returned
约束与限制 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 MRS 3.1.0及之后版本,支持从OBS中恢复数据。 对系统的影响 数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后,依赖DBService的组件可能配置过期,需要重启配置过期的服务。
约束与限制 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 MRS 3.1.0及之后版本,支持从OBS中恢复数据。 对系统的影响 元数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。
对系统的影响 监控指标转储失败会影响上层管理系统无法获取到FusionInsight Manager系统的监控指标。 可能原因 无法连接服务器。 无法访问服务器上保存路径。 上传监控指标文件失败。 处理步骤 查看服务器连接是否正常。
在Linux系统HDFS客户端使用命令hdfs dfs -mkdir /tmp/input 在Linux系统HDFS客户端使用命令hdfs dfs -put local_filepath /tmp/input 开发思路 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。
There are some messages at [Partition=Offset]: {default-0=177} whose size is larger than the fetch size 1048576 and hence cannot be ever returned
恢复Flink元数据 操作场景 在用户意外修改、删除或需要找回数据时,系统管理员需要对Flink进行重大操作(如升级或迁移等)后,系统数据出现异常或未达到预期结果,导致Flink组件全部故障无法使用,或者迁移数据到新集群的场景中,需要对Flink元数据进行恢复数据操作。
约束与限制 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 HBase元数据不能与NameNode元数据同时恢复,会导致数据恢复失败。 MRS 3.1.0及之后版本,支持从OBS中恢复数据。 对系统的影响 数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。
备份DBService元数据 操作场景 为了确保DBService日常数据安全,或者系统管理员需要对DBService进行重大操作(如升级或迁移等)时,需要对DBService数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。
<系统域名> 系统随机生成 ZooKeeper系统启动用户。 zkcli/hadoop.<系统域名> 系统随机生成 登录Zookeeper服务器用户。 oozie 系统随机生成 Oozie系统启动与Kerberos认证用户。 kafka/hadoop.
检查备份文件是否软链接到系统盘且系统盘空间是否足够。如果软链接到系统盘且系统盘空间不足,请执行步骤2。如果否,说明不是由于系统盘空间不足导致,请联系技术服务。 将历史备份数据移到数据盘的新目录中。 以root用户登录Master节点。