检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建FlinkServer作业 操作场景 定义Flink的作业,包括Flink SQL和Flink Jar作业。 在FlinkServer提交的SQL作业,其SQL文本会保存到DBServer中,在MRS 3.5.0及以后版本,FlinkServer默认提供了SQL加密存储的能力
ALM-45480 Tserver进程tablet leader分布不均衡 告警解释 系统每60秒周期性检测Kudu的服务状态,当检测到某个Tserver进程tablet leader数量和集群累计tablet leader数量的比值超过阈值时,此时产生该告警。 某个Tserver进程tablet
主机名 产生告警的主机名。 对系统的影响 Hive客户端新建连接时,无法选取已从Zookeeper注销的HiveServer节点。若所有HiveServer均已从Zookeeper注销,将导致HiveServer服务不可用。 可能原因 ZooKeeper实例状态异常。 Hive相关配置修改错误。
HiveServer和HiveHCat进程故障 用户问题 客户集群HiveServer和WebHCat进程状态均为故障。 问题现象 客户MRS集群Master2节点上的HiveServer和WebHCat进程状态显示为故障,重启之后仍为故障状态。 原因分析 在Manager界面单独
创建FlinkServer集群连接 操作场景 通过集群连接配置访问不同的集群。 创建集群连接 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 集群连接管理”,进入集群连接管理页面。 单击“创建集群连接”,在弹出的页面中参考表1填
创建FlinkServer权限角色 该任务指导MRS集群管理员在Manager创建并设置FlinkServer的角色。FlinkServer角色可设置FlinkServer管理员权限以及应用的编辑和查看权限。 用户需要在FlinkServer中对指定的用户设置权限,才能够更新数据、查询数据和删除数据等。
配置TimelineServer支持HA 操作场景 TimelineServer作为Yarn服务的一个角色,当前版本开始支持HA模式。如果需要避免TimelineServer单点故障问题,可以通过开启TimelineServer HA来确保Yarn TimelineServer角色的高可用性。
创建FlinkServer权限角色 该任务指导MRS集群管理员在Manager创建并设置FlinkServer的角色。FlinkServer角色可设置FlinkServer管理员权限以及应用的编辑和查看权限。 用户需要在FlinkServer中对指定的用户设置权限,才能够更新数据、查询数据和删除数据等。
LoginUtil.setZookeeperServerPrincipal("zookeeper/hadoop.<系统域名>"); LoginUtil.setJaasFile(USER_PRINCIPAL, userKeyTableFile); } 用户可登录FusionInsight
LoginUtil.setZookeeperServerPrincipal("zookeeper/hadoop.<系统域名>"); LoginUtil.setJaasFile(USER_PRINCIPAL, userKeyTableFile); } 用户可登录FusionInsight
2及以后版本,Hive支持3.1.0及以后版本。 参考创建FlinkServer权限角色创建一个具有FlinkServer管理员权限的用户用于访问Flink WebUI,如:flink_admin。 参考创建FlinkServer集群连接步骤中的“说明”获取访问Flink WebUI用户的客户端配置文件及用户凭据。
insert.mode = non-strict”来开启bulk insert作为Insert语句的写入方式。 也可以通过直接设置hoodie.datasource.write.operation的方式控制insert语句的写入方式,包括bulk_insert、insert、up
操作步骤 使用具有FlinkServer管理员权限的用户登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本),选择“集群 > 服务 > Flink”。 对于开启了Kerberos认证的MRS集群,访问Flink
创建FlinkServer集群连接 通过集群连接配置访问不同的集群。 创建FlinkServer集群连接步骤 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 集群连接管理”,进入集群连接管理页面。 单击“创建集群连接”,在弹出的
命令格式 MERGE INTO tableIdentifier AS target_alias USING (sub_query | tableIdentifier) AS source_alias ON <merge_condition> [ WHEN MATCHED [ AND
YarnShuffleService</value> </property> 配置参数 描述 yarn.nodemanager.aux-services NodeManager中一个长期运行的辅助服务,用于提升Shuffle计算性能。 yarn.nodemanager.aux-services
Kafka连接ZooKeeper客户端时发生断链 问题现象 Kafka客户端连接ZooKeeper客户端时发生断链。 客户端日志出现报错“ Received event :disconnected::none: with disconnected Writer Zookeeper”。 原因分析
管理FlinkServer作业 配置FlinkServer重启策略 配置FlinkServer作业中使用UDF 父主题: 使用Flink
DBServer启动失败 问题背景与现象 DBService组件启动失败,重启还是失败,实例状态一直为正在恢复状态。 图1 DBService 的状态 原因分析 查看DBService的日志/var/log/Bigdata/dbservice/DB/gs_ctl-current.log,报如下错误。
kafka-console-consumer.sh --bootstrap-server Kafka的Broker实例所在节点的IP地址:Kafka端口号 --topic 主题名称 --consumer.config 客户端目录/Kafka/kafka/config/consumer.properties --from-beginning