检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表1 各模块说明 模块名称 常见概念名称 描述 云服务层 HetuEngine CLI/JDBC HetuEngine的客户端,使用者通过客户端向服务端提交查询请求,然后将执行结果取回并展示。 HSBroker HetuEngine的服务管理,用作计算实例的资源管理校验,健康监控与自动维护等。
使用Flume服务端从本地采集静态日志保存到Kafka 该任务指导用户使用Flume服务端从本地采集静态日志保存到Kafka的Topic列表(test1)。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置Flume加密传输数据采集任
使用Flume服务端从本地采集静态日志保存到Kafka 操作场景 该任务指导用户使用Flume服务端从本地采集静态日志保存到Kafka的Topic列表(test1)。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使
集群未安装Hive服务时Hue原生页面无法正常显示 问题 集群没有安装Hive服务时,Hue服务原生页面显示空白。 回答 MRS 3.x版本存在Hue依赖Hive组件,如果出现此情况,首先需要检查当前集群是否安装了Hive组件,如果没有,需要安装Hive。 父主题: Hue故障排除
配置Structured Streaming使用RocksDB做状态存储 本章节仅适用于MRS 3.3.0及之后版本。 配置场景 当大量的状态信息存储在默认的HDFS BackedStateStore,导致JVM GC占用大量时间时,可以通过如下配置,选择RocksDB作为状态后端。
ALM-25000 LdapServer服务不可用(2.x及以前版本) 告警解释 系统按30秒周期性检测LdapServer的服务状态。当检测到两个LdapServer服务均异常时产生该告警。 当检测到一个LdapServer服务恢复时告警恢复。 告警属性 告警ID 告警级别 可自动清除
line处理数据,时延毫秒级,且兼具可靠性。 Flink整个系统包含三个部分: Client Flink Client主要给用户提供向Flink系统提交用户任务(流式作业)的能力。 TaskManager Flink系统的业务执行节点,执行具体的用户任务。TaskManager可
使用Flume服务端从本地采集动态日志保存到HDFS 操作场景 该任务指导用户使用Flume服务端从本地采集动态日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使
metadata 从Hudi的元数据中获取文件列表 N false --verify-metadata-file-listing 根据文件系统验证Hudi元数据中的文件列表 N false --help、-h 查看帮助 N false --support-timestamp 将原
Spark Structured Streaming对接Kafka样例程序 Spark Structured Streaming对接Kafka样例程序开发思路 Spark Structured Streaming对接Kafka样例程序(Scala) 父主题: 开发Spark应用
Spark Structured Streaming对接Kafka样例程序 Spark Structured Streaming对接Kafka样例程序开发思路 Spark Structured Streaming对接Kafka样例程序(Scala) 父主题: 开发Spark应用
Spark Structured Streaming状态操作样例程序 Spark Structured Streaming状态操作样例程序开发思路 Spark Structured Streaming状态操作样例程序(Scala) 父主题: 开发Spark应用
MRS集群处理的数据源来源于OBS或HDFS,HDFS是Hadoop分布式文件系统(Hadoop Distributed File System),OBS(Object Storage Service)即对象存储服务,是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。M
集群未安装Hive服务时Hue原生页面无法正常显示 问题 集群没有安装Hive服务时,Hue服务原生页面显示空白。 回答 MRS 3.x版本存在Hue依赖Hive组件,如果出现此情况,首先需要检查当前集群是否安装了Hive组件,如果没有,需要安装Hive。 父主题: Hue常见问题
批量退出维护模式 修改OMS配置 启用阈值告警 同步所有集群配置 服务 启动服务 停止服务 同步服务配置 刷新服务队列 定制服务监控指标 重启服务 滚动重启服务 导出服务监控数据 导入服务配置数据 启动服务的健康检查 服务配置 上传配置文件 下载配置文件 同步实例配置 实例入服 实例退服
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试? 回答 以调试SparkPi程序为例,演示如何进行IDEA的远程调试。 打开工程,在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的“+”
MRS是否支持对DLI服务的业务表进行读写操作? 问:MRS是否支持对DLI服务的业务表进行读写操作? 答:如果数据存放在OBS上,则支持使用MRS服务中的Spark读取DLI表,对表数据进行灵活处理,结果存入另一张DLI表,如果数据不存放在OBS上,则不支持。 父主题: 周边生态对接类
x及以前版本) 告警解释 系统每30秒周期性检查YARN服务处于挂起状态(Pending)的任务数量,并把挂起状态的任务数量和阈值进行比较。当检测到挂起状态的任务数超过阈值时产生该告警。 用户可通过在MRS Manager中的“系统设置 > 阈值配置 > 服务 > Yarn > 队列root正在挂起的任务
漏洞公告 Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)公告 Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)修复指导 MRS Fastjson漏洞修复指导
ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 参考修改集群服务配置参数,进入Hive服务“全部配置”页面。