检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群用户鉴权策略 安全模式 大数据平台用户完成身份认证后,系统还需要根据实际权限管理配置,选择是否对用户进行鉴权,确保系统用户拥有资源的有限或全部权限。如果系统用户权限不足,需要由系统管理员为用户授予各个组件对应的权限后,才能访问资源。
合并CBO优化 操作场景 Spark SQL默认支持基于规则的优化,但仅仅基于规则优化不能保证Spark选择合适的查询计划。CBO(Cost-Bsed Optimizer)是一种为SQL智能选择查询计划的技术。通过配置开启CBO后,CBO优化器可以基于表和列的统计信息,进行一系列的估算
There are some messages at [Partition=Offset]: {default-0=177} whose size is larger than the fetch size 1048576 and hence cannot be ever returned
备份Manager数据(MRS 3.x及之后版本) 操作场景 为了确保FusionInsight Manager系统日常数据安全,或者系统管理员需要对Manager进行重大操作(如扩容、减容等)前后,需要对Manager数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复
除了HBase产生的一些日志文件,HBase中的所有数据文件都可以存储在Hadoop HDFS文件系统上。
String[] args) throws IOException { if (args.length < 1) { System.out.println("JavaHBaseBulkDeleteExample {tableName}"); return
Will not spill but return 0. | org.apache.spark.sql.catalyst.expressions.RowBasedKeyValueBatch.spill(RowBasedKeyValueBatch.java:173) 2018-02-
value " + i); } session.apply(insert); } // Call session.close() to end the session and ensure the rows are // flushed and errors are returned
value " + i); } session.apply(insert); } // Call session.close() to end the session and ensure the rows are // flushed and errors are returned
Result result = table.get(get); hbaseValue = Bytes.toString(result.getValue(columnFamily.getBytes(), "cid".getBytes())); return
if(args.length <1){ System.out.println("JavaHBaseMapPartitionExample {tableName} is missing an argument"); return
new ArrayList<DataPoint>(); Map<String, String> tags = ImmutableMap.of("city", "Shenzhen", "region", "Longgang"); // Data of air temperature
String[] args) throws IOException { if (args.length < 1) { System.out.println("JavaHBaseBulkDeleteExample {tableName}"); return
Will not spill but return 0. | org.apache.spark.sql.catalyst.expressions.RowBasedKeyValueBatch.spill(RowBasedKeyValueBatch.java:173) 2018-02-
对系统的影响 如果将DataNode数据目录挂载在根目录等系统关键目录,长时间运行后会将根目录写满,导致系统故障。 不合理的DataNode数据目录配置,会造成HDFS的性能下降。 可能原因 DataNode数据目录创建失败。
约束与限制 导出命令不会检查文件及文件路径是否存在、是否会自动创建路径、或是否会覆盖已存在文件,由远端存储系统的语义决定。 如果在导出过程中出现错误,可能会有导出文件残留在远端存储系统上,Doris不会清理这些文件,需要手动清理。
HDFS支持集群掉电自动恢复 操作场景 HDFS数据写入磁盘时会先写入操作系统缓存,当操作系统缓存写入完成后则认为数据写入完成,缓存数据写入磁盘工作交由操作系统完成。如果此时集群断电,则缓存的数据就会丢失,造成HDFS丢块现象。
备份HBase业务数据 操作场景 为了确保HBase日常数据安全,或者系统管理员需要对HBase进行重大操作(如升级或迁移等)时,需要对HBase业务数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。
备份HDFS NameNode元数据 操作场景 为了确保NameNode日常数据安全,或者系统管理员需要对NameNode进行重大操作(如升级或迁移等),需要对NameNode数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。
备份Kafka元数据 操作场景 为了确保Kafka元数据安全,或者系统管理员需要对ZooKeeper进行重大操作(如升级或迁移等)时,需要对Kafka元数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。