DFS的操作,将其视作RPC调用并置入FIFO调用队列,供读取线程处理。虽然FIFO在先到先服务的情况下足够公平,但如果用户执行的I/O操作较多,相比I/O操作较少的用户,将获得更多的服务。在这种情况下,FIFO有失公平并且会导致延迟增加。 图1 基于FIFO调用队列的NameNode请求处理
DFS的操作,将其视作RPC调用并置入FIFO调用队列,供读取线程处理。虽然FIFO在先到先服务的情况下足够公平,但如果用户执行的I/O操作较多,相比I/O操作较少的用户,将获得更多的服务。在这种情况下,FIFO有失公平并且会导致延迟增加。 图1 基于FIFO调用队列的NameNode请求处理
配置NFS服务器存储NameNode元数据 操作场景 本章节适用于MRS 3.x及后续版本。 用户在部署集群前,可根据需要规划Network File System(简称NFS)服务器,用于存储NameNode元数据,以提高数据可靠性。 如果您已经部署NFS服务器,并已配置NFS
29860 29860 HSBroker服务侦听的端口号。 server.port(HSConsole) 29880 29880 HSConsole服务侦听的端口号。 server.port(HSFabric) 29900 29900 HSFabric服务侦听的端口号,用于跨域连接。 gateway
ALM-43001 Spark2x服务不可用 告警解释 系统每300秒周期性检测Spark2x服务状态,当检测到Spark2x服务不可用时产生该告警。 Spark2x服务恢复时,告警清除。 MRS 3.3.0-LTS及之后的版本中,Spark2x服务改名为Spark,服务包含的角色名也有差异,
退订MRS服务后,在ECS中退订弹性云服务器时报异常如何处理? 问题 退订MRS服务后,在ECS中退订弹性云服务器时报异常如何处理? 回答 在使用的MRS集群中查询该弹性云服务器的ID确认没有使用。 在ECS控制台上找到需要退订的服务器单击“MRS使用中”将机器进行解锁。 再次单击“退订”。
Hive服务状态为故障如何处理 可能原因 DBservice服务不可用会导致Hive服务状态为Bad。 HDFS服务不可用会导致Hive服务状态为Bad。 ZooKeeper服务不可用会导致Hive服务状态为Bad。 LDAP/KrbServer服务不可用会导致Hive服务状态为Bad。
使用CDM服务迁移Hive数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hive集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。 本章节以通过华为云CDM服务
为什么不同服务之间互相删除UDF失败 问题 不同服务之间互相删除UDF失败,例如,Spark SQL无法删除Hive创建的UDF。 回答 当前可以通过以下3种方式创建UDF: 在Hive端创建UDF。 通过JDBCServer接口创建UDF。用户可以通过Spark Beeline
为什么不同服务之间互相删除UDF失败 问题 不同服务之间互相删除UDF失败,例如,Spark SQL无法删除Hive创建的UDF。 回答 当前可以通过以下3种方式创建UDF: 在Hive端创建UDF。 通过JDBCServer接口创建UDF。用户可以通过Spark Beeline
<table name>; -- 执行Archive操作 表服务选择技巧 只要是cow表,选择方式一:表服务与写任务一起执行。 只要是insert overwrite写入,无论是cow表还是mor表,选择方式一:表服务与写任务一起执行。 mor表使用insert into方式写入
KrbServer服务异常。 ZooKeeper服务异常。 HDFS服务异常。 Yarn服务异常。 处理步骤 检查Mapreduce服务JobHistoryServer实例状态。 在FusionInsight Manager界面,选择“集群 > 待操作集群的名称 > 服务 > Mapreduce
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive直接内存使用率过高,会影响Hive任务
Node节点会一直处于退服中的状态,需要人工介入进行黑名单清理。 处理步骤 进入服务实例界面。 MRS Manager界面操作: 登录MRS Manager,在MRS Manager页面,选择“服务管理 > HDFS > 实例”。 FusionInsight Manager界面操作:
HDFS文件系统目录简介 HDFS是Hadoop的分布式文件系统(Hadoop Distributed File System),实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写,多次读”的特征,而数据“写”操作是顺序写,也就是在文件创建时的写入或者在
10 64bit。 图2 操作系统版本 确认MRS节点的操作系统版本是否在HSS服务的Agent支持的操作系统范围中。 HSS服务的Agent支持的操作系统列表请参见支持的操作系统。 是,执行2,安装主机安全HSS服务的Agent。 否,无法安装主机安全服务。 购买主机安全防护配额,
单击“资源”,查看“Yarn”或者“HDFS 存储”状态,绿色表示资源可用,灰色表示资源不可用。 单击“服务关联”,查看关联的服务表格的“状态”列,“良好”表示组件可正常为关联的租户提供服务,“故障”表示组件无法为租户提供服务。 任意一个检查结果不正常,需要恢复租户数据,请执行4。 单击“恢复租户数据”。
nux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。 运行任务 在运行样例程序时需要指定
PLAINTEXT),<kafkaService>指kerberos服务名称(如kafka),<kafkaDomain>指kerberos域名(如hadoop.<系统域名>)。 由于Spark Structured Streaming Kafka的依赖包在客户端的存放路径与其他依
停止所有角色”停止告警节点的所有服务。 如果告警节点时间比主OMS节点NTP服务时间慢,校正告警节点的系统时间。校正告警节点的系统时间后,选择“更多 > 启动所有角色”启动告警节点的服务。 如果告警节点时间比主OMS节点NTP服务时间快,等待相应时间差,校正告警节点的系统时间。校正完成后,选择“更多
您即将访问非华为云网站,请注意账号财产安全