检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 导致某个场景下任务持续执行失败。 可能原因
Driver返回码和RM WebUI上应用状态显示不一致 问题 ApplicationMaster与ResourceManager之间通信发生长时间异常时，为什么Driver返回码和RM WebUI上应用状态显示不一致？ 回答 在yarn-client模式下，Spark的Driv
D，所以当查看的是已结束或不存在的applicationID，服务器会响应给浏览器“404”的状态码。但是由于chrome浏览器访问该REST接口时，优先以“application/xml”的格式响应，该行为会导致服务器端处理出现异常，所以返回的页面会提示“Error Occur
在HBase连续对同一个表名做删除创建操作时出现创建表异常 问题 在HBase连续对同一个表名做删除创建操作时，可能出现创建表异常。 回答 执行过程：Disable Table > Drop Table > Create Table > Disable Table > Drop Table
blocksize”参数值时，则会写入客户端所在的DataNode节点的DISK磁盘，其余副本会写入其他节点的DISK磁盘。 以上参数可以登录Manager，选择“集群 > 服务 > HDFS > 配置 > 全部配置”搜索对应参数获取。参数解释如下： dfs.datanode.max.locked.memory：D
MapReduce任务运行失败，ApplicationMaster出现物理内存溢出异常 问题 HBase bulkload任务有210000个map和10000个reduce，MapReduce任务运行失败，ApplicationMaster出现物理内存溢出异常。 For more
使用TableIndexer工具生成HBase本地二级索引 场景介绍 为了快速对数据创建索引，HBase提供了可通过MapReduce功能创建索引的TableIndexer工具，该工具可实现添加、构建和删除索引。具体使用场景如下： 在表中预先存在大量数据的情况下，可能希望在某个列
conf文件中的对应配置访问FusionInsight ZooKeeper； [2] zookeeper.server.principal：指定ZooKeeper服务端使用principal； [3] zookeeper.sasl.client：如果MRS集群是安全模式，该值设置为“true”，否则设置
接口说明 注册服务器接口 注册服务器用来保存NettySink的IP、端口以及并发度信息，以便NettySource连接使用。为用户提供以下接口： public interface RegisterServerHandler { /** * 启动注册服务器 * @param
使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息 问题 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息 回答 问题原因： 在IBM JDK下建立的JDBC connection时间超过登
fka。 创建Topic。 在服务端配置用户创建topic的权限。 开启Kerberos认证的安全集群将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”的值修改为“true”。配置完后重启kafka服务。未开启Kerberos认证的普通集群无需此配置。
ARM环境python pipeline运行报139错误码 问题 在TaiShan服务器上，使用python插件的pipeline报错显示139错误。具体报错如下： subprocess exited with status 139 回答 该python程序既使用了libcrypto
hudi.keygen.SimpleKeyGenerator 涉及多引擎读写Hudi，Hudi表建议统一小写。 按照选择合适的表服务执行方式的规范去执行表服务，不要随意改动。 父主题： Hudi表常见问题及排查手段
test：为准备集群认证用户信息创建的用户名称，例如developuser。 系统域名：登录FusionInsight Manager后，选择“系统 > 权限 > 域和互信”，查看“本端域”参数，即为当前系统域名。 父主题： 准备MapReduce应用开发环境
Spark Streaming对接Kafka0-10样例程序 Spark Streaming对接Kafka0-10样例程序开发思路 Spark Streaming对接Kafka0-10样例程序（Java） Spark Streaming对接Kafka0-10样例程序（Scala）
saveAsTextFile(path: String): Unit 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。 saveAsSequenceFile(path: String, codec:
配置Hive Python样例工程 操作场景 为了运行MRS产品Hive组件的Python接口样例代码，需要完成下面的操作。 MRS 3.1.2及之后版本默认仅支持Python3。 该样例仅支持在Linux节点上运行。 操作步骤 客户端机器必须安装有Python，其版本不低于2.6
没有需要额外导入的jar包 MapReduce访问多组件样例程序 导入样例工程之后，如果需要使用访问多组件样例程序，请确保集群已安装Hive、HBase服务。 不使用访问多组件样例程序时，如果不影响统计样例程序的正常编译，可忽略多组件样例程序相关报错信息，否则请在导入样例工程后将多组件样例程序类文件删除。
in the Hadoop binaries. 通过MapReduce服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Mapreduce ＞ JobHistoryServer”进入Web界面后查看任务执行状态。
Spark Core样例程序（Scala） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： 样例：类CollectMapper
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
