检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
29860 29860 HSBroker服务侦听的端口号。 server.port（HSConsole） 29880 29880 HSConsole服务侦听的端口号。 server.port（HSFabric） 29900 29900 HSFabric服务侦听的端口号，用于跨域连接。 gateway
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示，客户端与服务端的配置相同。要使用表权限功能，需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明（1） 参数 描述 默认值 spark.sql
HDFS文件系统目录简介 HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在
退订MRS服务后，在ECS中退订弹性云服务器时报异常如何处理？ 问题 退订MRS服务后，在ECS中退订弹性云服务器时报异常如何处理？ 回答 在使用的MRS集群中查询该弹性云服务器的ID确认没有使用。 在ECS控制台上找到需要退订的服务器单击“MRS使用中”将机器进行解锁。 再次单击“退订”。
Node节点会一直处于退服中的状态，需要人工介入进行黑名单清理。 处理步骤 进入服务实例界面。 MRS Manager界面操作： 登录MRS Manager，在MRS Manager页面，选择“服务管理 > HDFS > 实例”。 FusionInsight Manager界面操作：
DFS的操作，将其视作RPC调用并置入FIFO调用队列，供读取线程处理。虽然FIFO在先到先服务的情况下足够公平，但如果用户执行的I/O操作较多，相比I/O操作较少的用户，将获得更多的服务。在这种情况下，FIFO有失公平并且会导致延迟增加。 图1 基于FIFO调用队列的NameNode请求处理
nux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。 运行任务 在运行样例程序时需要指定
DFS的操作，将其视作RPC调用并置入FIFO调用队列，供读取线程处理。虽然FIFO在先到先服务的情况下足够公平，但如果用户执行的I/O操作较多，相比I/O操作较少的用户，将获得更多的服务。在这种情况下，FIFO有失公平并且会导致延迟增加。 图1 基于FIFO调用队列的NameNode请求处理
使用CDM服务迁移Hive数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hive集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。 本章节以通过华为云CDM服务
ALM-43001 Spark2x服务不可用 告警解释 系统每300秒周期性检测Spark2x服务状态，当检测到Spark2x服务不可用时产生该告警。 Spark2x服务恢复时，告警清除。 MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，
Hive服务状态为故障如何处理 可能原因 DBservice服务不可用会导致Hive服务状态为Bad。 HDFS服务不可用会导致Hive服务状态为Bad。 ZooKeeper服务不可用会导致Hive服务状态为Bad。 LDAP/KrbServer服务不可用会导致Hive服务状态为Bad。
为什么不同服务之间互相删除UDF失败 问题 不同服务之间互相删除UDF失败，例如，Spark SQL无法删除Hive创建的UDF。 回答 当前可以通过以下3种方式创建UDF： 在Hive端创建UDF。 通过JDBCServer接口创建UDF。用户可以通过Spark Beeline
Spark Structured Streaming样例程序开发思路 场景说明 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 数据规划 StructuredStreaming样例工
为什么不同服务之间互相删除UDF失败 问题 不同服务之间互相删除UDF失败，例如，Spark SQL无法删除Hive创建的UDF。 回答 当前可以通过以下3种方式创建UDF： 在Hive端创建UDF。 通过JDBCServer接口创建UDF。用户可以通过Spark Beeline
问：如何在已创建好的MRS集群中手动添加服务？ 答： 已经创建的MRS 3.1.0及之前版本集群不支持安装新的组件。如果需要使用当前集群未安装的组件，则需要重新创建一个集群，并且选择所需要的组件。 MRS 3.1.2-LTS.3及之后版本的自定义类型集群支持手动添加组件，具体请参见管理服务操作。 父主题：
本地使用Linux操作系统 如果本地主机为Linux操作系统，您可以参考步骤 1~步骤 4为弹性云服务器绑定弹性公网IP后，在计算机的命令行中运行如下命令登录弹性云服务器。 ssh 弹性云服务器绑定的弹性公网IP 本地使用Windows操作系统 如果您本地使用Windows操作系统登录Lin
<table name>; -- 执行Archive操作 表服务选择技巧 只要是cow表，选择方式一：表服务与写任务一起执行。 只要是insert overwrite写入，无论是cow表还是mor表，选择方式一：表服务与写任务一起执行。 mor表使用insert into方式写入
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive直接内存使用率过高，会影响Hive任务
KrbServer服务异常。 ZooKeeper服务异常。 HDFS服务异常。 Yarn服务异常。 处理步骤 检查Mapreduce服务JobHistoryServer实例状态。 在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 服务 > Mapreduce
PLAINTEXT），<kafkaService>指kerberos服务名称（如kafka），<kafkaDomain>指kerberos域名（如hadoop.<系统域名>）。 由于Spark Structured Streaming Kafka的依赖包在客户端的存放路径与其他依
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
