检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager HA Name 本地Manager HA名称。 Peer Manager HA Name 对端Manager HA名称。 对系统的影响 如果主Manager进程异常,主备倒换无法进行,影响业务。 可能原因 主备Manager节点间链路异常。 处理步骤 检查主备Manager服务器间的网络是否正常。
ser.principal=spark2x/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;" 其中“<zkNode1_IP>:<zkNode1_Port>
MRS管理控制台不支持变更集群节点,也不建议用户在ECS管理控制台直接修改MRS集群节点。 如果手动在ECS管理控制台对集群节点执行停止ECS、删除ECS、修改或重装ECS操作系统,以及修改ECS规格的操作,可能影响集群稳定运行。 如果您对MRS集群节点进行了上述操作,MRS会自动识别并直接删除发生变更的集群节点。
物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 若您需要对参数配置进行调整,具体操作请参考修改集群服务配置参数。 可用内存 除了分配给操作系统、其他服务的内存外,剩余的资源应尽量分配给YARN。通过如下配置参数进行调整。 例如,如果一个container默认使用512M,则内存使
并设置好Java环境变量。 编译并运行程序 导出jar包 进入IntelliJ IDEA,选择“File > Project Structure > Artifacts”。 单击“加号”,选择“JAR > From modules with dependencies”。 “Main
设置好Java环境变量。 编译并运行程序 导出jar包。 进入IntelliJ IDEA,选择“File > Project Structure > Artifacts”。 单击“加号”,选择“JAR > from modules with dependencies”。 “Main
设置好Java环境变量。 编译并运行程序 导出jar包。 进入IntelliJ IDEA,选择“File > Project Structure > Artifacts”。 单击“加号”,选择“JAR > from modules with dependencies”。 “Main
在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Windows或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下:
客户端上,使用“kafka-acls.sh”脚本进行查看和设置。 操作场景 该任务指导Kafka管理员根据业务需求,为其他使用Kafka的系统用户授予相关Topic的特定权限。 Kafka默认用户组信息表所示。 用户组名 描述 kafkaadmin Kafka管理员用户组。添加入
(仅hash方式)如果要合并在shuffle过程中创建的中间文件,需要将该值设置为“true”。文件创建的少可以提高文件系统处理性能,降低风险。使用ext4或者xfs文件系统时,建议设置为“true”。由于文件系统限制,在ext3上该设置可能会降低8核以上机器的处理性能。 false spark.shuffle
is中。 图3 实时数据加载 场景特点: 业务特点为实时流式数据,需要针对实时流式数据进行快速的统计查询。 前端业务库系统实时同步到后端分析系统,在后端分析系统进行实时OLAP分析。 数据加载方式: 前端数据统一接入Kafka中,Kafka作为实时数据加工的唯一数据源。 针对仅追
在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Windows或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下:
~64个字符。 bootstrap_0 脚本路径 脚本的路径,路径可以是OBS文件系统的路径或虚拟机本地的路径。 同一集群内,不允许配置相同的路径。不同集群之间,可以配置相同的路径。 OBS文件系统的路径,必须以obs://开头,以.sh结尾。例如:obs://mrs-samples/xxx
shortcircuit.DomainSocketFactory - The short-circuit local reads feature cannot be used because UNIX Domain sockets are not available on Windows
是否自动清除 12104 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 上层服务通过knox下发的请求无法正常处理响应。 可能原因 knox进程异常。 处理步骤
tableName 表名。 newTableName 新表名。 示例 ALTER TABLE table1 RENAME TO table2 系统响应 通过运行SHOW TABLES查看新的表名。 父主题: Hudi Schema演进及语法说明
参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 无法进行数据读写和创建表等操作。 可能原因 ZooKeeper服务异常。 HDFS服务异常。 HBase服务异常。 网络异常。 处理步骤
TRUNCATE TABLE参数描述 参数 描述 tableIdentifier 表名。 示例 truncate table h0_1; 系统响应 通过运行QUERY语句查看表中数据已被删除。 父主题: Hudi DDL语法说明
ser.principal=spark2x/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;" 其中“<zkNode1_IP>:<zkNode1_Port>
普通模式或者密码登录方式,则不需要设置该参数。 loader/hadoop.<系统域名> 说明: 用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 client.keytab 使用keytab认证方式登录时,使用的keytab文件所在目录。