检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改DBService数据库compdbuser用户密码 建议管理员定期修改OMS数据库管理员的密码,以提升系统运维安全性。 约束与限制 该章节内容仅适用于MRS 3.x及之后版本。
在管理控制台首页服务列表中选择“弹性云服务器”,进入ECS管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。
各组件的策略列表中,系统默认生成的条目会自动继承至安全区内,用于保证集群内的部分系统默认用户或用户组的权限。 单击“Add New Policy”,根据业务场景规划配置相关用户或者用户组的资源访问策略。
<系统域名>),<topic>指要消费的kafka topic,<checkpointLocation> 指spark任务的checkpoint保存地址。
各组件的策略列表中,系统默认生成的条目会自动继承至安全区内,用于保证集群内的部分系统默认用户或用户组的权限。 单击“Add New Policy”,根据业务场景规划配置相关用户或者用户组的资源访问策略。
<系统域名>)。 <checkpointDir>指checkpoint文件存放路径,本地或者HDFS路径下。
<系统域名>)。
登录MRS管理控制台前往MRS管控面作业管理,搜索作业列表中是否存在SparkScript作业类型, 查看作业详情里是否存在obs://xxx.sql的文件。 登录MRS管理控制台。 选择“现有集群”,单击集群名称,进入集群信息页面。
登录MRS管理控制台前往MRS管控面作业管理,搜索作业列表中是否存在SparkScript作业类型, 查看作业详情里是否存在obs://xxx.sql的文件。 登录MRS管理控制台。 选择“现有集群”,单击集群名称,进入集群信息页面。
查看Kudu服务异常日志 登录MRS管理控制台。 单击集群名称进入集群详情页面。 选择“组件管理 > Kudu > 实例”,找到异常实例所属的IP。
登录MRS管理控制台前往MRS管控面作业管理,搜索作业列表中是否存在SparkScript作业类型, 查看作业详情里是否存在obs://xxx.sql的文件。 登录MRS管理控制台。 选择“现有集群”,单击集群名称,进入集群信息页面。
配置Structured Streaming使用RocksDB做状态存储 操作场景 状态信息存储在默认的HDFS BackedStateStore,随着状态数据的增多,垃圾回收器需要处理更多的对象,从而增加了垃圾回收的时间和开销,导致JVM GC占用大量时间。
Spark Structured Streaming样例程序(Scala) 功能介绍 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。
答: admin用户为集群管理页面用户,检查是否有supergroup权限,通常需要使用具有supergroup权限的用户才可以查看作业。 使用提交作业的用户登录查看Yarn上的作业,不使用admin管理账号查看。 父主题: 作业管理类
失败任务管理:仅包含“失败”状态的任务。 集群创建失败的任务 集群删除失败的任务 集群扩容失败的任务 集群缩容失败的任务 父主题: 集群管理类
su - omm sh /opt/knox/bin/restart-knox.sh 父主题: 集群管理类
答: 已经创建的MRS 3.1.0及之前版本集群中的组件不可以删除,如果不使用的话可以登录集群Manager页面在服务管理中找到对应的组件将其停止。 MRS 3.1.2-LTS.3及之后版本的自定义类型集群支持删除组件,具体请参见管理服务操作。 父主题: 组件管理类
启用Kerberos认证的集群,需要拥有管理Kafka主题的权限。也可以通过KafkaUI修改Topic Configs。
启用Kerberos认证的集群,需要拥有管理Kafka主题的权限。也可以通过KafkaUI修改Topic Configs。
Spark Structured Streaming样例程序(Java) 功能介绍 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。