检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 由于Flink作业是On Yarn运行,在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。 OBS并行文件系统名称/文件名称:OBS文件路径需写至目录层级。
new ArrayList<DataPoint>(); Map<String, String> tags = ImmutableMap.of("city", "Shenzhen", "region", "Longgang"); // Data of air temperature
String[] args) throws IOException { if (args.length < 1) { System.out.println("JavaHBaseBulkDeleteExample {tableName}"); return
Will not spill but return 0. | org.apache.spark.sql.catalyst.expressions.RowBasedKeyValueBatch.spill(RowBasedKeyValueBatch.java:173) 2018-02-
Will not spill but return 0. | org.apache.spark.sql.catalyst.expressions.RowBasedKeyValueBatch.spill(RowBasedKeyValueBatch.java:173) 2018-02-
String[] args) throws IOException { if (args.length < 1) { System.out.println("JavaHBaseBulkDeleteExample {tableName}"); return
告警解释 系统配置冷热分离功能和委托后,每隔1分钟检测一次临时委托凭据的更新状态,当连续3次检测到获取临时委托凭据失败时,系统产生告警。 当检测到系统获取临时委托凭据成功时,告警自动消除。
该任务指导用户通过MRS Manager创建恢复元数据任务,系统仅支持手动进行数据恢复。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的元数据。
Result result = table.get(get); hbaseValue = Bytes.toString(result.getValue(columnFamily.getBytes(), "cid".getBytes())); return
在Linux系统HDFS客户端使用命令hdfs dfs -mkdir /tmp/input 在Linux系统HDFS客户端使用命令hdfs dfs -put local_filepath /tmp/input 开发思路 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。
package com.xxxbigdata..hetuengine.functions; public class AddTwo { public Integer evaluate(Integer num) { return num + 2; }
约束与限制 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 MRS 3.1.0及之后版本,支持从OBS中恢复数据。 对系统的影响 元数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。
对系统的影响 监控指标转储失败会影响上层管理系统无法获取到FusionInsight Manager系统的监控指标。 可能原因 无法连接服务器。 无法访问服务器上保存路径。 上传监控指标文件失败。 处理步骤 查看服务器连接是否正常。
约束与限制 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 MRS 3.1.0及之后版本,支持从OBS中恢复数据。 对系统的影响 数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后,依赖DBService的组件可能配置过期,需要重启配置过期的服务。
对系统的影响 如果将DataNode数据目录挂载在根目录等系统关键目录,长时间运行后会将根目录写满,导致系统故障。 不合理的DataNode数据目录配置,会造成HDFS的性能下降。 可能原因 DataNode数据目录创建失败。
Result result = table.get(get); hbaseValue = Bytes.toString(result.getValue(columnFamily.getBytes(), "cid".getBytes())); return
查看MRS集群事件 在MRS集群中,告警和事件是保障系统稳定性、可靠性和性能的重要机制。 事件指系统运行中发生的状态变化或系统操作记录,用于系统行为的审计或者追踪。例如MRS集群中组件实例的启动、停止或主备倒换;MRS集群中节点慢盘隔离变化等。
父主题: 修改MRS集群系统用户密码
MRS集群用户鉴权策略 安全模式 大数据平台用户完成身份认证后,系统还需要根据实际权限管理配置,选择是否对用户进行鉴权,确保系统用户拥有资源的有限或全部权限。如果系统用户权限不足,需要由系统管理员为用户授予各个组件对应的权限后,才能访问资源。
HDFS支持集群掉电自动恢复 操作场景 HDFS数据写入磁盘时会先写入操作系统缓存,当操作系统缓存写入完成后则认为数据写入完成,缓存数据写入磁盘工作交由操作系统完成。如果此时集群断电,则缓存的数据就会丢失,造成HDFS丢块现象。