检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager系统,选择“集群 > 服务 > Kafka > 配置 > 全部配置”,搜索“allow.everyone.if.no.acl.found”配置,修改参数值为true,保存配置即可。 系统域名:可登录FusionInsight Manager,选择“系统 > 权限 >
管理FlinkServer作业 配置FlinkServer重启策略 配置FlinkServer作业中使用UDF 父主题: 使用Flink
DBServer启动失败 问题背景与现象 DBService组件启动失败,重启还是失败,实例状态一直为正在恢复状态。 图1 DBService 的状态 原因分析 查看DBService的日志/var/log/Bigdata/dbservice/DB/gs_ctl-current.log,报如下错误。
Kafka连接ZooKeeper客户端时发生断链 问题现象 Kafka客户端连接ZooKeeper客户端时发生断链。 客户端日志出现报错“ Received event :disconnected::none: with disconnected Writer Zookeeper”。
HBase把Thrift结合起来可以向外部应用提供HBase服务。在HBase服务安装时可选部署ThriftServer实例,ThriftServer系统可访问HBase的用户,拥有HBase所有NameSpace和表的读、写、执行、创建和管理的权限。访问ThriftServer服务同样需要
> ZooKeeper”,在“配置”页签查看“clientPort”的值。 系统域名:可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 HBase认证模式: 登录FusionInsight Manager,选择“集群
ser.principal=spark2x/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;" 其中“<zkNode1_IP>:<zkNode1_Port>
修复Manager Controller 前提条件 已获取FusionInsight Manager登录地址及admin账号。 操作步骤 使用omm用户登录到主OMS节点,备份$CONTROLLER_HOME/sbin/controller.sh文件。 cp $CONTROLLE
创建FlinkServer作业 操作场景 定义Flink的作业,包括Flink SQL和Flink Jar作业。 新建作业 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 单击“作业管理”进入作业管理页面。 单击“新建作业”,在新建作业页面可选择新建Flink
ALM-45635 FlinkServer作业失败 适用于MRS 3.1.2及之后版本。 告警解释 系统每10秒为周期检查FlinkServer作业是否执行失败,如果失败则产生告警。作业重新启动成功,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45635 重要 是 告警参数
在“Flink WebUI”右侧,单击链接,访问Flink的WebUI。 图1 访问Flink的WebUI Flink WebUI支持以下功能: 使用系统管理可以支持以下功能: 使用集群连接管理可以创建、查看、编辑、测试和删除集群连接。 使用数据连接管理可以创建、查看、编辑、测试和删除数据连
afka、Redis类型的数据连接。 创建数据连接 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 数据连接管理”,进入数据连接管理页面。 单击“创建数据连接”,在弹出的页面中选择数据连接类型,参考表1填写信息,单击“确定”,完
录凭证和授权tokens,避免认证过期。 例如: spark-shell --principal spark2x/hadoop.<系统域名>@<系统域名> --keytab ${BIGDATA_HOME}/FusionInsight_Spark2x_XXX/install/Fus
ALM-25004 LdapServer数据同步异常 告警解释 系统按30秒周期性检测LdapServer数据,如果连续12次检测,Manager的主备LdapServer的数据内容都不一致,产生该告警,当两者的数据一致时,对应告警恢复。 系统按30秒周期性检测LdapServer数据,如果连
文件中的字段分隔符。 “映射表类型”选择“HDFS”时存在此参数。 例如:“,” 流/表结构 填写流/表结构,包含名称,类型。 - Proctime 指系统时间,与数据本身的时间戳无关,即在Flink算子内计算完成的时间。 “类型”选择“Source”时存在此参数。 - Event Time
导入作业步骤 使用具有FlinkServer管理员权限的用户访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 导入作业”,进入导入作业页面。 单击“选择”,选择本地Tar文件,单击“确定”,等待导入完成。 上传的本地Tar文件最大支持200M。
ser.principal=spark2x/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;" 其中“<zkNode1_IP>:<zkNode1_Port>
和域名。在运维管理或应用开发的场景中,需要在客户端认证用户身份后才能连接到集群服务端。系统操作运维与业务场景中主要使用的用户分为“人机”用户和“机机”用户。二者主要区别在于“机机”用户密码由系统随机生成。 Kerberos认证 Kerberos认证支持两种方式:密码认证及keytab认证,认证有效时间默认为24小时。
添加目录到源文件路径 设置工程JDK。 在IntelliJ IDEA的菜单栏中,选择“File > Project Structure...”,弹出“Project Structure”窗口。 选择“SDKs”,单击加号选择“JDK”。 图2 选择“JDK” 在弹出的“Select Home Directory
KafkaManager KafkaManager是Apache Kafka的管理工具,提供Kafka集群界面化的Metric监控和集群管理。 通过KafkaManager进行以下操作: 支持管理多个Kafka集群 支持界面检查集群状态(主题,消费者,偏移量,分区,副本,节点) 支持界面执行副本的leader选举