检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Finished processing dependencies for future==0.18.2 父主题: 准备Spark应用开发环境
在IDEA主页,选择“File>Project Structures...”进入“Project Structure”页面。 选择“Modules”,选中工程名称,然后右键选择“Add > Scala”。
举例如下: select i_item_id item_id, sum(sr_return_quantity) sr_item_qty from store_returns, item, date_dim where sr_item_sk
举例如下: select i_item_id item_id, sum(sr_return_quantity) sr_item_qty from store_returns, item, date_dim where sr_item_sk
登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“43009”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JobHistory(对应上报告警实例IP地址) > 定制 > JobHistory的GC时间”。
否 Flume工作异常 /mr-history/tmp 固定目录 MapReduce作业产生的日志存放位置 是 日志信息丢失 /mr-history/done 固定目录 MR JobHistory Server管理的日志的存放位置 是 日志信息丢失 /tenant 添加租户时创建
-DHADOOP_USER_NAME=test 用户可向管理员咨询运行用户。test在这里只是举例,若需运行Colocation相关操作的样例代码,则此用户需属于supergroup用户组。 若已按照1设置环境变量,则直接单击Run,运行应用工程。
对系统的影响 造成服务数据无法写入,业务系统运行不正常。 可能原因 硬盘存在坏道等故障。 处理步骤 登录MRS集群详情页面,选择“告警管理”。 在实时告警列表中,单击此告警所在行。
Finished processing dependencies for future==0.18.2 父主题: 准备Spark应用开发环境
在IDEA主页,选择“File > Project Structures...”进入“Project Structure”页面。 选择“Modules”,选中工程名称,然后右键选择“Add > Scala”。
Finished processing dependencies for future==0.18.2 父主题: 准备Spark应用开发环境
Hive执行msck repair table命令时报错 现象描述 Hive执行msck repair table table_name命令报错: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
等待5分钟后,在“告警管理”页签,查看该告警是否恢复。 是,处理完毕。 否,执行3。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
集群运维 告警管理 MRS可以实时监控大数据集群,通过告警和事件可以识别系统健康状态。同时MRS也支持用户自定义配置监控与告警阈值用于关注各指标的健康情况,当监控数据达到告警阈值,系统将会触发一条告警信息。
给嵌套列添加新的子列需要指定子列的全名称: 添加新列col1到STURCT类型嵌套列users struct<name: string, age: int>,新列名称需要指定为users.col1。
ALM-26051 Storm服务不可用(2.x及以前版本) 告警解释 系统按照30秒的周期检测Storm服务是否可用,当集群全部的Nimbus实例所在节点异常时,Storm服务不可用,系统产生此告警。 当Storm服务恢复正常,告警自动清除。
如果已清除告警超过十万条达到十一万条,系统自动将最早的一万条已清除告警转存,转存路径为: 3.x以前版本,主管理节点的“${BIGDATA_HOME}/OMSV100R001C00x8664/workspace/data”。
对系统的影响 Worker进程GC时间过长,会影响Worker进程运行的性能,甚至造成Worker进程不可用。 可能原因 该节点Worker进程堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 登录MRS集群详情页面,选择“告警管理”。
在FusionInsight Manager首页,选择“运维 > 备份恢复 > 备份管理”,查看任务名称为“default”的备份任务或者其他执行成功的用户自己配置的HBase元数据备份任务是否有执行成功的记录。 是,执行3。 否,执行4。
以root用户登录到任一管理节点,执行ping命令检查SFTP服务器和集群之间的网络连接是否正常,用户密码为安装前用户自定义,请咨询系统管理员。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 是,执行5。 否,执行3。