检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Loader Loader基本原理 Loader与其他组件的关系 Loader开源增强特性 父主题: 组件介绍
Iceberg Iceberg原理介绍 Iceberg是一种开放的数据湖表格式,可以基于Iceberg快速地在HDFS或OBS上构建自己的数据湖存储服务。 Iceberg该功能当前处于公测阶段,如需使用请提交工单申请开通。 当前版本Iceberg仅支持Spark引擎,如需使用其他引擎构建数据湖服务,请使用Hudi。
备份DBService元数据 操作场景 为了确保DBService日常数据安全,或者系统管理员需要对DBService进行重大操作(如升级或迁移等)时,需要对DBService数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 用户可以通过FusionInsight
假定用户需要以非界面方式实现操作FusionInsight Manager系统,要求开发基于HTTP Basic认证的应用程序实现如下功能: 登录FusionInsight Manager系统。 访问FusionInsight Manager系统,进行查询、添加、删除等操作。 流程分解 根据上述的业
可能导致系统崩溃。 ERROR ERROR表示当前事件处理出现错误信息,系统运行出错。 WARN WARN表示当前事件处理存在异常信息,但认为是正常范围,不会导致系统出错。 INFO INFO表示记录系统及各事件正常运行状态信息 DEBUG DEBUG表示记录系统及系统的调试信息。
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 触发条件 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 进程状态异常会导致该进程无法提供正常服务,进而可能导致服务整体异常。 可能原因 主机中正在等待的IO(磁盘I
配置FlinkServer UDF安全沙箱 本章节适用于MRS 3.3.1及以后版本。 用户可以根据作业需要,通过Flink Web UI界面上传UDF、依赖等第三方Jar包,并在SQL作业校验、运行作业时调用相关依赖。为了确保上传的Jar是安全的,Flink默认开启了沙箱功能,
创建FlinkServer作业前准备 访问FlinkServer WebUI界面 创建FlinkServer应用 创建FlinkServer集群连接 创建FlinkServer数据连接 创建FlinkServer流表源 父主题: 使用Flink
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 依赖LdapServer的组件运行状态变为故障,可能引起集群Kerberos认证失败或操作系统用户缓存同步异常,进而导致组件业务运行异常。 可能原因 LdapServer服务所在节点故障。
在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader
egionServer节点数量需要配置一定的冗余量,确保冗余节点数 >(RSGroup内业务表region总数/2000)*50%。 如果系统表在单独的RSGroup,需要确保该RSGroup的节点数量 > 2。 为了不影响滚动重启功能,如果RegionServer节点总数在30
ionServer节点数量需要配置一定的冗余量,确保冗余节点数 > (RSGroup内业务表region总数/2000)* 50%。 如果系统表在单独的RSGroup,需要确保该RSGroup的节点数量 > 2。 为了不影响滚动重启功能,如果RegionServer节点总数在30
Manager关键特性:统一用户权限管理 Manager提供系统中各组件的权限集中管理功能。 Manager引入角色的概念,采用RBAC的方式对系统进行权限管理,集中呈现和管理系统中各组件零散的权限功能,并且将各个组件的权限以权限集合(即角色)的形式组织,形成统一的系统权限概念。这样一方面对普通用户屏蔽了
配置用户的集群信息和登录账号信息: 配置文件:“样例工程文件夹\conf\UserInfo.properties”。 参数说明: userName:登录Manager系统的用户名。 password:userName对应的用户密码。 webUrl:Manager首页地址。 填写“UserInfo.prope
息,可能导致系统崩溃。 ERROR ERROR表示当前事件处理出现错误信息,系统运行出错。 WARN WARN表示当前事件处理存在异常信息,但认为是正常范围,不会导致系统出错。 INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示系统及系统的调试信息。
是否自动清除 12005 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Manager中的Kerberos资源异常,组件WebUI认证服务不可用,无法对
在“安全组”中选择当前集群所在的安全组,该安全组在创建集群时配置或集群自动创建。 创建自定义集群时,安全组可配置提前创建的安全组或由系统自动创建。快速创建集群时,安全组由系统自动创建。 安全组名称可在集群的“概览”界面的“安全组”查看。 添加安全组规则,默认填充的是用户访问弹性IP地址的规则。
Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 问题 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,执行应用时显示如下异常。
息,可能导致系统崩溃。 ERROR ERROR表示当前事件处理出现错误信息,系统运行出错。 WARN WARN表示当前事件处理存在异常信息,但认为是正常范围,不会导致系统出错。 INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示系统及系统的调试信息。
ALM-25500 KrbServer服务不可用 告警解释 系统按30秒周期性检测组件KrbServer的服务状态。当检测到组件KrbServer服务异常时产生该告警。 当检测到组件KrbServer服务恢复时告警恢复。 告警属性 告警ID 告警级别 是否自动清除 25500 紧急