检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
系统域名:可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 父主题: FlinkSQL Connector开发规范
单击“并行文件系统 > 创建并行文件系统”,创建一个名称为sparkpi的文件系统。 sparkpi仅为示例,文件系统名称必须全局唯一,否则会创建并行文件系统失败。其他参数分别保持默认值。 单击sparkpi文件系统名称,并选择“文件”。
<系统域名>@<系统域名> --keytab ${BIGDATA_HOME}/FusionInsight_Spark2x_8.1.0.1/install/FusionInsight-Spark2x-3.1.1/keytab/spark2x/SparkResource/spark2x.keytab
系统判断流程可参考下图所示,如果组件资源请求未匹配到Ranger中的权限策略,系统默认将拒绝访问。但是对于HDFS和Yarn,系统会将决策下放给组件自身的访问控制层继续进行判断。
帮助您及时发现产品故障及潜在隐患,并进行定位排除,以保证系统正常运行。 审计 提供审计日志查询及导出功能。帮助您查阅所有用户活动及操作。 租户资源 提供统一租户管理平台。 系统 提供对FusionInsight Manager的系统管理设置,例如用户权限设置。
此时只能将云硬盘(EVS)扩容至目标容量,磁盘分区和文件系统无法自动扩容。 进行磁盘分区和文件系统扩容。 请参考补丁下载地址下载数据盘扩容补丁,参考补丁说明中(补丁包中名为README.md的文件)操作步骤进行磁盘分区和文件系统扩容。
创建OBS文件系统。 用户需要创建用于存放集群数据的OBS并行文件系统。 配置组件数据回收站目录的清理策略。
Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 磁盘可用率低于阈值的NodeManager节点可能无法提供Yarn服务。 容器减少,集群性能可能下降。 可能原因 NodeManager节点所在主机的硬盘空间不足。
查看Consumer客户端日志发现频繁连接Broker节点和断链打印信息,如下所示。
Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS NameNode内存使用率过高,会影响HDFS的数据读写性能。 可能原因 HDFS NameNode配置的内存不足。 处理步骤 清除无用文件。
Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS DataNode内存使用率过高,会影响到HDFS的数据读写性能。 可能原因 HDFS DataNode配置的内存不足。 处理步骤 清除无用文件。
<系统域名>@<系统域名> --keytab ${BIGDATA_HOME}/FusionInsight_Spark2x_8.1.0.1/install/FusionInsight-Spark2x-3.1.1/keytab/spark2x/SparkResource/spark2x.keytab
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 可能会导致业务数据不可用,在Doris客户端查询数据失败。 可能原因 硬盘故障。 磁盘权限设置不正确。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务延迟:主机D状态和Z状态进程数过高时,无法创建新的业务进程,可能会导致并发任务处理变慢、业务延迟。
表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,推荐Windows7以上版本。 运行环境:Linux系统。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务进程响应缓慢或不可用。 可能原因 告警阈值配置或者平滑次数配置不合理。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。
JAVA API 提供HDFS文件系统的应用接口,本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口,使用C语言开发的用户可参考C接口的描述进行应用开发。
Windows系统中,在console界面可以看到运行结果示例: 图1 Windows系统运行结果 Linux系统中运行结果示例: Aug 12, 2023 5:19:53 PM io.XXX.jdbc.
<系统域名>@<系统域名>;' 父主题: Spark2x
表1 开发和运行环境 准备项 说明 操作系统 Windows系统,支持Windows 7以上版本。 本地开发环境需要和集群业务平面网络互通。