检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka 多线程Consumer API 使用样例 功能介绍 在Kafka Consumer API使用样例基础上,实现了多线程并发消费,可根据Topic的Partition数目起相应个数的Consumer线程来对应消费消息。 下面代码片段在com.huawei.bigdata
使用多线程Producer发送消息 功能介绍 在使用Producer API向安全Topic生产消息基础上,实现了多线程Producer,可启动多个Producer线程,并通过指定相同key值的方式,使每个线程对应向特定Partition发送消息。 下面代码片段在com.huawei
ResourceManager持续主备倒换 问题 RM(ResourceManager)在多个任务(比如2000个任务)正常并发运行时出现持续的主备倒换,导致YARN服务不可用。 回答 产生上述问题的原因是,full GC(GarbageCollection)时间过长,超出了RM
配置Ranger元数据存储至RDS 本章节旨在指导用户将现有集群的Ranger元数据切换为RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据,且元数据不随集群的删除而删除,也能够避免集群迁移时Ranger元数据的迁移。 停用集群组件Ranger鉴权 该操作仅在MRS
如何修改DBService的IP地址? 问: 如何修改DBService的浮动IP地址? 答: MRS集群内不支持修改DBService的IP地址。 父主题: 组件配置类
使用多线程Producer发送消息 功能简介 在使用Producer API向安全Topic生产消息基础上,实现了多线程Producer,可启动多个Producer线程,并通过指定相同key值的方式,使每个线程对应向特定Partition发送消息。 下面代码片段在com.huawei
Producer发送数据失败,报错“TOPIC_AUTHORIZATION_FAILED” 问题现象 使用MRS安装集群,主要安装ZooKeeper、Kafka。 在使用Producer向Kafka发送数据功能时,发现客户端报错:TOPIC_AUTHORIZATION_FAILED。
客户端提示访问ZooKeeper失败 问题现象 安全集群中,HiveServer服务正常的情况下,通过jdbc接口连接HiveServer执行sql时报出ZooKeeper认证异常"The ZooKeeper client is AuthFailed",如下: 14/05/19 10:52:00
Broker Load导入数据时报超时错误 现象描述 使用Broker Load导入数据时报错: org.apache.thrift.transport.TTransportException: java.net.SocketException: Broken pipe 原因分析
Spark INSERT SELECT语句调优 操作场景 在以下几种情况下,执行INSERT...SELECT操作可以进行一定的调优操作。 查询的数据是大量的小文件。 查询的数据是较多的大文件。 在Beeline/JDBCServer模式下使用非Spark用户操作。 操作步骤 可对INSERT
ALM-45330 Presto Worker线程数超过阈值 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统会检查Presto Coordinator和Worker实例的线程使用情况,默认阈值为1024个。如果Presto Coordinator或Worker的线程数超过阈值,则发出告警。
Scala样例代码 功能介绍 在Spark应用中,通过使用StructuredStreaming调用kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.spark.examples
使用多线程Producer发送消息 功能简介 在使用Producer API向安全Topic生产消息基础上,实现了多线程Producer,可启动多个Producer线程,并通过指定相同key值的方式,使每个线程对应向特定Partition发送消息。 下面代码片段在com.huawei
使用多线程Producer发送消息 功能简介 在使用Producer API向安全Topic生产消息基础上,实现了多线程Producer,可启动多个Producer线程,并通过指定相同key值的方式,使每个线程对应向特定Partition发送消息。 下面代码片段在com.huawei
Spark INSERT SELECT语句调优 操作场景 在以下几种情况下,执行INSERT...SELECT操作可以进行一定的调优操作。 查询的数据是大量的小文件。 查询的数据是较多的大文件。 在Beeline/JDBCServer模式下使用非Spark用户操作。 操作步骤 可对INSERT
ResourceManager持续主备倒换 问题 RM(ResourceManager)在多个任务(比如2000个任务)正常并发运行时出现持续的主备倒换,导致YARN服务不可用。 回答 产生上述问题的原因是,full GC(GarbageCollection)时间过长,超出了RM
残留进程导致Regionsever启动失败 问题现象 HBase服务启动失败,健康检查报错。 原因分析 查看启动HBase服务时manager页面的详细打印信息,提示the previous process is not quit。 解决办法 登录节点,后台通过执行ps -ef |
HBase version文件损坏导致启动失败 问题背景 HBase启动失败。 原因分析 HBase启动时会读取hbase.version文件,但是日志显示读取存在异常。 通过hadoop fs -cat /hbase/hbase.version命令发现文件不能正常查看,该文件损坏。
如何重置或修改Manager(admin)密码? 已知旧密码修改admin密码请参考修改admin密码。 忘记旧密码重置admin密码请参考修改组件运行用户密码。 父主题: 账号密码类
name}/hbase-staging”(例如“/user/omm/hbase-staging”),此处“$ {user.name}”是操作系统用户名(即omm用户),客户端(kerberos用户,例如admin用户)不具备该目录的rwx权限。 上述问题可通过执行以下步骤解决: 在客户端将“hbase