检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataNode数据目录与系统关键目录(“/”或“/boot”)使用同一磁盘。 DataNode数据目录中多个目录使用同一磁盘。 处理步骤 查看告警原因和产生告警的DataNode节点信息。 在MRS集群详情页面,单击“告警管理”,在告警列表中单击此告警。
-DHADOOP_USER_NAME=test 用户可向管理员咨询运行用户。test在这里只是举例,若需运行Colocation相关操作的样例代码,则此用户需属于supergroup用户组。 若已按照1设置环境变量,则直接单击Run,运行应用工程。
登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“44005”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Presto > 实例 > Coordinator(对应上报告警实例IP地址) > 定制 > Presto进程GC时间”。
在IDEA主页,选择“File>Project Structures...”进入“Project Structure”页面。 选择“Modules”,选中工程名称,然后右键选择“Add > Scala”。
表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK Java/Scala开发和运行环境的基本配置。
在FusionInsight Manager首页,选择“运维 > 备份恢复 > 备份管理”,查看任务名称为“default”的备份任务或者其他执行成功的用户自己配置的HBase元数据备份任务是否有执行成功的记录。 是,执行步骤 3。 否,执行步骤 4。
登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“43009”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JobHistory(对应上报告警实例IP地址) > 定制 > JobHistory的GC时间”。
oozieClient.getJobInfo(jobId))); } /** * Get job.properties File in filePath * * @param filePath file path * @return
在IDEA主页,选择“File>Project Structures...”进入“Project Structure”页面。 选择“Modules”,选中工程名称,然后右键选择“Add > Scala”。
Flink使用pipeline.operator-chaining定位问题 问题现象 Flink运行过程中会将算子进行串联形成一个task来降低网络等开销,但是在遇到背压、数据不准确等情况时,因为多个算子串联在一起,无法快速定位是哪个算子有问题。 解决方法 通过将“pipeline.operator-chaining
Flink使用pipeline.operator-chaining定位问题 问题现象 Flink运行过程中会将算子进行串联形成一个task来降低网络等开销,但是在遇到背压、数据不准确等情况时,因为多个算子串联在一起,无法快速定位是哪个算子有问题。 解决方法 通过将“pipeline.operator-chaining
oozieClient.getJobInfo(jobId))); } /** * Get job.properties File in filePath * * @param filePath file path * @return
图2 Configure 在“Project Defaults”页面中,选择“Project Structure”。 图3 Project Defaults 在打开的“Project Structure”页面中,选择“SDKs”,单击绿色加号添加JDK。
ImmutableList.of(new SubQuery("city.temp", "sum"), new SubQuery("city.hum", "sum")); query.delete = true; Gson gson = new Gson(); return
程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase Spark Streaming对接kafka0-10程序 Structured
对系统的影响 造成服务数据无法写入,业务系统运行不正常。 可能原因 硬盘存在坏道等故障。 处理步骤 登录MRS集群详情页面,选择“告警管理”。 在实时告警列表中,单击此告警所在行。
检查NameNode备份文件是否保存在主管理节点“数据存放路径/LocalBackup/”。 恢复Manager数据 查看备份数据位置。 在MRS Manager,选择“系统设置 > 备份管理”。
举例如下: select i_item_id item_id, sum(sr_return_quantity) sr_item_qty from store_returns, item, date_dim where sr_item_sk
举例如下: select i_item_id item_id, sum(sr_return_quantity) sr_item_qty from store_returns, item, date_dim where sr_item_sk
调度系统,需要考虑调度系统对接MRS集群。 迁移后,业务割接允许中断时长,识别平台业务优先级。 识别在迁移过程中不能中断的业务、可短时中断的业务、整体业务迁移可接受的迁移时长,梳理业务迁移顺序。 客户端部署要求。 业务执行时间段和高峰时间段。