检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/user
MapReduce Java API接口介绍 关于MapReduce的详细API可以参考官方网站：http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 MapReduce中常见的类如下： org.apache.hadoop
Driver返回码和RM WebUI上应用状态显示不一致 问题 ApplicationMaster与ResourceManager之间通信发生长时间异常时，为什么Driver返回码和RM WebUI上应用状态显示不一致？ 回答 在yarn-client模式下，Spark的Driv
为什么并行度大于待处理的block数目时，CarbonData仍需要额外的executor？ 问题 为什么并行度大于待处理的block数目时，CarbonData仍需要额外的executor？ 回答 CarbonData块分布对于数据处理进行了如下优化： 优化数据处理并行度。 优化了读取块数据的并行性。
为什么数据查询/加载失败，且发生“org.apache.carbondata.core.memory.MemoryException: Not enough memory”异常？ 问题 为什么数据查询/加载失败，且发生“org.apache.carbondata.core.memory
YARN资源池的所有节点都被加入黑名单，任务一直处于运行状态 问题 为什么YARN资源池的所有节点都被加入黑名单，而YARN却没有释放黑名单，导致任务一直处于运行状态？ 回答 在YARN中，当一个APP的节点被AM（ApplicationMaster）加入黑名单的数量达到一定比例
ctChannelHandlerContext.java:362) 回答 Ranger界面上HBase服务插件的“hbase.rpc.protection”参数值和HBase服务端的“hbase.rpc.protection”参数值必须保持一致。 参考登录Ranger WebUI界面章节，登录Ranger管理界面。
参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Mapreduce JobHistorySe
批量加载HBase数据并生成本地二级索引 场景介绍 HBase本身提供了ImportTsv＆LoadIncremental工具来批量加载用户数据。当前提供了HIndexImportTsv来支持加载用户数据的同时可以完成对索引数据的批量加载。HIndexImportTsv继承了HB
YARN资源池的所有节点都被加入黑名单，任务一直处于运行状态 问题 为什么YARN资源池的所有节点都被加入黑名单，而YARN却没有释放黑名单，导致任务一直处于运行状态？ 回答 在YARN中，当一个APP的节点被AM（ApplicationMaster）加入黑名单的数量达到一定比例
x内存。 登录Manager界面，选择“集群 > 服务 > Impala > 配置 > 全部配置 > Catalog（角色） > 环境”，查看并记录参数“IMPALA_GC_OPTS”中的“xmx”内存值。 选择“集群 > 服务 > Impala > 配置 > 全部配置 > Impalad（角色）
使用REST接口查询HBase集群信息 功能简介 使用REST服务，传入对应host与port组成的url，通过HTTPS协议，获取集群版本与状态信息。 代码样例 获取集群版本信息 以下代码片段在“hbase-rest-example\src\main\java\com\huaw
S集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 将krb5.conf文件中的IP地址修改为对应IP的主机名称。
MapReduce Java API接口介绍 MapReduce常用接口 MapReduce中常见的类如下。 org.apache.hadoop.mapreduce.Job：用户提交MR作业的接口，用于设置作业参数、提交作业、控制作业执行以及查询作业状态。 org.apache.hadoop
运行HBase应用开发程序产生ServerRpcControllerFactory异常如何处理 检查应用开发工程的配置文件hbase-site.xml中是否包含配置项hbase.rpc.controllerfactory.class。 <name>hbase.rpc.controllerfactory
运行Producer.java样例运行获取元数据失败如何处理 解决步骤 检查工程conf目录下“client.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确。 如果IP与Kafka集群部署的业务IP不一致，那么需要修改为当前集群正确的IP地址。
ARM环境python pipeline运行报139错误码规避方案 问题 在TaiShan服务器上，使用python插件的pipeline报错显示139错误。具体报错如下： subprocess exited with status 139 回答 该python程序既使用了libcrypto
使用Spark执行Hudi样例程序（Scala） 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieDataSourceExample。 插入数据： def insertData(spark: SparkSession
使用Spark执行Hudi样例程序（Python） 下面代码片段仅为演示，具体代码参见：HudiPythonExample.py。 插入数据： #insert inserts = sc._jvm.org.apache.hudi.QuickstartUtils.convertToStringList(dataGen
使用Spark执行Hudi样例程序（Java） 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieWriteClientExample。 创建客户端对象来操作Hudi： String tablePath = args[0];
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
