检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
问：如何在已创建好的MRS集群中手动添加服务？ 答： 已经创建的MRS 3.1.0及之前版本集群不支持安装新的组件。如果需要使用当前集群未安装的组件，则需要重新创建一个集群，并且选择所需要的组件。 MRS 3.1.2-LTS.3及之后版本的自定义类型集群支持手动添加组件，具体请参见管理服务操作。 父主题：
HDFS的路径。 由于Spark Structured Streaming Kafka的依赖包在客户端的存放路径与其他依赖包不同，如其他依赖包路径为“$SPARK_HOME/jars”，而Spark Streaming Structured Kafka依赖包路径为“$SPARK_
Spark Structured Streaming对接Kafka样例程序（Scala） 功能介绍 使用Structured Streaming，从kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。
环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上 运行任务 在运行样例程序时需要指定 <kafkaBootstrapServers>
Spark Structured Streaming对接Kafka样例程序（Scala） 功能介绍 使用Structured Streaming，从kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。
Spark Structured Streaming状态操作样例程序（Scala） 功能介绍 在Spark结构流应用中，跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp；同时输出本批次被更新状态的session。 代码样例
r。 对系统的影响 部分服务之间存在依赖关系，对某服务执行启动、停止和重启操作时，与该服务存在依赖关系的服务将受到影响。 启动某服务，该服务依赖的下层服务需先启动，服务功能才可生效。 停止某服务，依赖该服务的上层服务将无法提供功能。 重启某服务，依赖该服务且启动的上层服务需重启后才可生效。
bigdata_env kinit 组件业务用户 kinit一次票据时效24小时。24小时后再次运行样例，需要重新kinit。 与HTTP服务访问相比，以HTTPS方式访问Yarn时，由于使用了SSL安全加密，需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持，可
Spark Structured Streaming状态操作样例程序（Scala） 功能介绍 在Spark结构流应用中，跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp；同时输出本批次被更新状态的session。 代码样例
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive堆内存使用率过高，会影响Hive任务运
可以登录Manager界面，选择“集群 > 服务 > Yarn > 实例”查看“ResourceManager(主)”的“主机名称”获取。 8090：ResourceManager的端口号。 可以登录Manager界面，选择“集群 > 服务 > Yarn > 配置 > 全部配置”搜索并查看“yarn
环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。 运行任务 在运行样例程序时需要指定
LAINTEXT）。 <kafkaService>指kerberos服务名称（如kafka）。 <kafkaDomain>指kerberos域名（如hadoop.<系统域名>）。 由于Spark Structured Streaming Kafka的依赖包在客户端的存放路径与其他
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 证书文件已经失效，对应模块功能受限，无法正常使用。 可能原因 系统未导入证书
场景说明 场景说明 在Spark应用中，通过使用StructuredStreaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 数据规划 StructuredStreaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有kafka权限用户）。
Structured Streaming 任务提交方式变更 问题 用户提交结构流任务时，通常需要通过--jars命令指定kafka相关jar包的路径，例如--jars /kafkadir/kafka-clients-x.x.x.jar,/kafkadir/kafka_2.11-x
la、Spark、HDFS、Yarn、Mapreduce、Presto、HBase、Tez以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。 MRS 2.1.0.11补丁安装后，需要登录备Master节点（登录MRS Manager，在
Structured Streaming 任务提交方式变更 问题 用户提交结构流任务时，通常需要通过--jars命令指定kafka相关jar包的路径，例如--jars /kafkadir/kafka-clients-x.x.x.jar,/kafkadir/kafka_2.11-x
Java样例代码 功能介绍 在Spark应用中，通过使用StructuredStreaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples
Scala样例代码 功能介绍 在Spark应用中，通过使用StructuredStreaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
