检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备运行环境 创建集群 云数据库(Relational Database Service) 云数据库(RDS)用于存储MRS系统运行数据,包括MRS集群元数据和用户计费信息等。
CDL服务能够从各种OLTP数据库中捕获数据库的Data Change事件,并推送到kafka,再由sink connector推送到大数据生态系统中。
选择“Yarn”时,系统自动在Yarn中以租户名称创建任务队列。 不选择“Yarn”时,系统不会自动创建任务队列。 配置模式 计算资源参数配置模式。 选择“基础”时,只需配置“默认资源池容量 (%)”参数即可。
ALM-44004 Presto Coordinator资源组排队任务超过阈值(2.x及以前版本) 告警解释 系统通过jmx接口查询资源组的排队任务数即QueuedQueries指标,当检测到资源组排队数大于阈值时产生该告警。
告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 ResourceManager进程的垃圾回收时间过长,可能影响该ResourceManager进程正常提供服务。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务失败:进程使用率超过阈值时,无法切换到omm用户。无法创建新的omm线程,可能会导致作业运行失败。 可能原因 告警阈值配置不合理。
User: 查看权限:“系统”页面下“权限”区域中内容的查看权限。 管理权限:“系统”页面下“权限”区域中内容的管理权限。 Audit : 管理权限:“审计”页面信息的管理权限。 Tenant: 查看权限:“租户资源”页面的查看权限。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务进程响应缓慢或不可用。 可能原因 内存配置无法满足业务需求。内存使用率达到上限。 处理步骤 对系统进行扩容。
Windows系统中,在console界面可以看到运行结果示例: 图1 Windows系统运行结果 Linux系统中运行结果示例: … [ ('hive', ('mv',), ('svc',), ('system',), ('systemremote',)] 父主题: 调测HetuEngine
Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 系统可能无法正常写入数据,导致部分数据丢失。 可能原因 Hive使用HDFS容量上限过小。 系统磁盘空间不足。 部分数据节点瘫痪。 处理步骤 扩展系统配置。
此处以obs-mrstest文件系统为例,请根据实际情况替换文件系统名。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 当监控目录下的条目数超过系统阈值的90%触发该告警,但不影响对该目录继续增加条目。一旦超过系统最大阈值,继续增加条目会失败。 可能原因 监控目录的条目数超过系统阈值的90%。
单击“系统 > 权限 > 用户组 > 添加用户组”,为样例工程创建一个用户组,例如developgroup。 单击“系统 > 权限 > 用户 > 添加用户”,为样例工程创建一个用户。
if (sum < timeThreshold) { return; } result.set(sum); // reduce输出为key:网民的信息,value
if (sum < timeThreshold) { return; } result.set(sum); // reduce输出为key:网民的信息,value
配置Kafka后进先出 配置场景 当Spark Streaming应用与Kafka对接,Spark Streaming应用异常终止并从checkpoint恢复重启后,对于进入Kafka数据的任务,系统默认优先处理应用终止前(A段时间)未完成的任务和应用终止到重启完成这段时间内(B段时间
配置描述 在Manager系统中,选择“集群 > 服务 > Yarn > 配置”,选择“全部配置”。在搜索框中输入参数名称。 表1 参数描述 参数 描述 默认值 yarn.nodemanager.linux-container-executor.user 运行任务的用户。
使用介绍 登录Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本),在Manager界面选择“集群 > 服务 > Tez”,在“基本信息”中单击“Tez WebUI”右侧的链接,打开Tez WebUI。
其中,“hbase”命名空间为系统表命名空间,请不要对该系统表命名空间进行业务建表或数据读写等操作。 代码样例 方法调用 // Namespace operations.