检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cd /opt/hadoopclient source bigdata_env kinit <用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input(hdfs dfs命令有同样的作用),创建对应目录。
cd /opt/hadoopclient source bigdata_env kinit <用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input(hdfs dfs命令有同样的作用),创建对应目录。
cd/opt/hadoopclient sourcebigdata_env kinit<用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input(hdfs dfs命令有同样的作用),创建对应目录。
need_auto_refresh: 管理计算实例时,预先创建维护实例后,可通过设置need_auto_refresh为true,创建具备自动刷新能力的物化视图,它会自动创建并提交物化视图刷新任务,在此基础上,可对refresh_duration,start_refresh_ahead_of_expiry
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 直接内存溢出可能导致服务崩溃,服务崩溃后无法使用Oozie服务调度任务。 可能原因 该节点Oozie实例直接内存使用率过大,或配置的直接内存不合理,导致使用率超过阈值。
在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input(hdfs dfs命令有同样的作用),创建对应目录。 在Linux系统HDFS客户端使用命令hadoop fs -put input_xxx.txt /tmp/input,上传数据文件。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 正在运行的调度任务会阻塞,无法提交新的调度任务。在HA模式下,Oozie服务会重启。 可能原因 ZooKeeper服务异常。 Oozie连接ZooKeeper异常。
附加信息 触发条件 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 进程状态异常会导致该进程无法提供正常服务,进而可能导致服务整体异常。 可能原因 主机中正在等待的IO(磁盘IO、网络IO等)在较长时间内未得到响应,进程处于D状态和Z状态,或进程可能被挂起进入T状态。
单击“自动识别”后,建议手动检查系统自动识别出的字段类型,确保与表中实际的字段类型相符合。 例如Oracle数据库中的“date”类型,系统会自动识别为“timestamp”类型,若不手动处理会导致后续Hive表在查询数据时报错。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Kafka可用直接内存不足,会造成内存溢出导致Broker实例崩溃,影响该Broker正常提供读写服务。
告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive非堆内存使用率过高,会影响Hive任务运行的性能,甚至造成内存溢出导致Hive服务不可用。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 RegionServer RPC响应时间的P99超过阈值,会影响RegionServer对外提供服务的能力。对于时延敏感型业务,可能会导致大量的业务读写请求超时。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。
通过运行Mover,周期性地检测HDFS文件系统中用户指定的HDFS文件或目录,判断该文件或目录是否满足设置的存储策略,如果不满足,则进行数据迁移,使目标目录或文件满足设定的存储策略。 约束与限制 本章节适用于MRS 3.x及后续版本。
当清理操作超过这个时间时,系统会采取相应的措施,强制终止清理进程,确保集群资源的及时释放与高效利用。 约束与限制 本章节仅适用于MRS 3.2.0-LTS及之后版本。 配置参数 安装Spark客户端。 详细操作请参考安装MRS客户端。
海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 当非堆内存溢出时可能会导致Loader页面无法访问,无法正常对外提供服务。 可能原因 该节点Loader实例非堆内存使用率过大,或配置的非堆内存不合理,导致使用率超过阈值。