检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
KrbServer及LdapServer开源增强特性 集群内服务认证 在使用安全模式的MRS集群中,任意服务间的相互访问基于Kerberos安全架构方案。集群内某个服务(例如HDFS)在启动准备阶段的时候,会首先在Kerberos中获取该服务对应的服务名称sessionkey(即
KrbServer及LdapServer KrbServer及LdapServer基本原理 KrbServer及LdapServer开源增强特性 父主题: 组件介绍
关键模块解释 名称 含义 Manager 集群Manager Manager WS WebBrowser Kerberos1 部署在Manager中的KrbServer(管理平面)服务,即OMS Kerberos Kerberos2 部署在集群中的KrbServer(业务平面)服务 LDAP1
HoodieDeltaStreamer 编写自定义的转化类实现Transformer。 编写自定义的Schema实现SchemaProvider。 在执行HoodieDeltaStreamer时加入参数: --schemaprovider-class 定义的schema类 --transformer-class
附加信息 详细信息 产生告警的详细信息。 对系统的影响 KerberosServer实例请求数过高,可能导致KerberosServer响应缓慢,引起Kerberos认证超时,进而导致组件业务故障。 可能原因 KerberosServer实例请求数过高。 告警阈值配置或者平滑次数配置不合理。
HoodieDeltaStreamer 编写自定义的转化类实现Transformer。 编写自定义的Schema实现SchemaProvider。 在执行HoodieDeltaStreamer时加入参数: --schemaprovider-class 定义的schema类 --transformer-class
> Project Structure > Modules”,然后将内含“log4j.properties”和“UserInfo.properties”的“conf”文件夹添加为Source Folders。 重新编译程序。 父主题: Manager应用开发常见问题
HoodieDeltaStreamer 编写自定义的转化类实现Transformer。 编写自定义的Schema实现SchemaProvider。 在执行HoodieDeltaStreamer时加入参数: --schemaprovider-class 定义的schema类 --transformer-class
HoodieDeltaStreamer 编写自定义的转化类实现Transformer。 编写自定义的Schema实现SchemaProvider。 在执行HoodieDeltaStreamer时加入参数: --schemaprovider-class 定义的schema类 --transformer-class
UI查看信息时显示Internal Server Error 问题背景与现象 使用MRS版本安装集群,主要安装ZooKeeper、Storm。 通过MRS Manager中的Storm Status页面UI连接访问信息时显示如下信息: Internal Server Error org.apache
执行select语句时报错“Execution Error return code 2” 问题现象 执行语句select count(*) from XXX;时客户端报错: Error:Error while processing statement :FAILED:Execution Error,return code
--FlinkServer所在集群为非安全模式去掉此参数 'properties.security.protocol' = 'SASL_PLAINTEXT', --FlinkServer所在集群为非安全模式去掉此参数 'properties.kerberos.domain
ThriftServer服务同样需要进行Kerberos认证。HBase实现了两套Thrift Server服务,此处“hbase-thrift-example”为ThriftServer实例服务的调用实现。 操作步骤 登录FusionInsight Manager,选择“集群 >
创建FlinkServer应用 通过应用来隔离不同的上层业务。 使用具有FlinkServer管理员权限的用户访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 应用管理”,进入应用管理页面。 单击“创建应用”,在弹出的页面中填写应用信息,单击“确定”,完成应用创建。
创建FlinkServer应用 操作场景 通过应用来隔离不同的上层业务。 创建应用 使用具有FlinkServer管理员权限的用户访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 应用管理”,进入应用管理页面。 单击“创建应用”,
accumulate(AverageAccumulator acc, Integer value) { acc.sum += value; } @Override public Integer getValue(AverageAccumulator
创建FlinkServer作业 创建FlinkServer作业 FlinkServer作业对接ClickHouse表(JDBC Connector) FlinkServer作业对接Doris表 FlinkServer作业对接JDBC FlinkServer作业对接数据仓库服务(DWS)
accumulate(AverageAccumulator acc, Integer value) { acc.sum += value; } @Override public Integer getValue(AverageAccumulator
= 'kafka', 'topic' = 'user_source', 'properties.bootstrap.servers' = 'Kafka的Broker实例业务IP:Kafka端口号', 'properties.group.id' = 'testGroup'
DBService结构 DBService组件在集群中采用主备模式部署两个DBServer实例,每个DBServer实例包含三个模块:HA、Database和FloatIP。 其逻辑结构如图1所示。 图1 DBService结构 图1中各模块的说明如表1所示。 表1 模块说明 名称 描述