检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Get API读取HBase表数据 功能简介 要从表中读取一条数据,首先需要实例化该表对应的Table实例,然后创建一个Get对象。也可以为Get对象设定参数值,如列族的名称和列的名称。查询到的行数据存储在Result对象中,Result中可以存储多个Cell。 代码样例 以下代码片段在com
创建HBase表二级索引 功能简介 一般都通过调用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中方法进行HBase二级索引的管理,该类中提供了创建索引的方法。 二级索引不支持修改,如果需要修改,请先删除旧的然后重新创建。 代码样例
HBase JDBC API接口介绍 Phoenix实现了大部分的java.sql接口,SQL语法紧跟ANSI SQL标准。 其支持处理函数可参见: http://phoenix.apache.org/language/functions.html 其支持语法可参见: http://phoenix
ClickHouse应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 ClickHouse应用程序开发流程 表1 ClickHouse应用开发的流程说明 阶段 说明 参考文档 准备开发环境 在进行应用开发前,需首先准备开发环境,ClickHouse的应用程序支持多
Oozie样例程序开发思路 开发流程 工作流配置文件“workflow.xml”(“coordinator.xml”是对工作流进行调度,“bundle.xml”是对一组Coordinator进行管理)与“job.properties”。 如果有实现代码,需要开发对应的jar包,例如Java
配置Oozie作业执行终点 功能描述 流程任务执行的终点,每个流程任务有且仅有一个该节点。 参数解释 End Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name end活动的名称 样例代码 <end name="end"/> 父主题:
修改HBase表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin的modifyTable方法修改表信息。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testModifyTable方法中。
Phoenix命令行操作介绍 Phoenix支持SQL的方式来操作HBase,以下简单介绍使用SQL语句建表/插入数据/查询数据/删表等操作。 前提条件 已安装HBase客户端,例如安装目录为“/opt/client”。以下操作的客户端目录只是举例,请根据实际安装目录修改。在使用
Hue WebUI中Oozie编辑器的时区设置问题 问题 在Hue设置Oozie工作流调度器的时区时,部分时区设置会导致任务提交失败。 回答 部分时区存在适配问题,建议时区选择“Asia/Shanghai”,如图1所示。 图1 时区选择 支持的时区可以参考Oozie WebUI页
在System.disks表中查询到磁盘status是fault或者abnormal 问题 在System.disks表中查询到磁盘status是fault或者abnormal。 回答 这种情况是由于磁盘存在IO错误,处理方法如下: 方法一:登录FusionInsight Man
Superior调度模式下,单个NodeManager故障可能导致MapReduce任务失败 问题 在Superior调度模式下,如果出现单个NodeManager故障,可能会导致Mapreduce任务失败。 回答 正常情况下 ,当一个application的单个task的att
Hive表的HDFS目录被误删,但是元数据仍然存在,导致执行任务报错 问题 Hive表HDFS数据目录被误删,但是元数据仍然存在,导致执行任务报错。 回答 这是一种误操作的异常情况,需要手动删除对应表的元数据后重试。 例如: 执行以下命令登录Hive元数据库: source ${
降低MapReduce客户端运行任务失败率 配置场景 当网络不稳定或者集群IO、CPU负载过高的情况下,通过调整如下参数值,降低客户端应用的失败率,保证应用的正常运行。 配置描述 在客户端的“mapred-site.xml”配置文件中调整如下参数。 “mapred-site.xm
健康检查时,误将JDBCServer Kill 问题 健康检查方案中,在并发执行的语句达到线程池上限后依然会导致健康检查命令无法执行,从而导致健康检查程序超时,然后把Spark JDBCServer进程Kill。 回答 当前JDBCServer中存在两个线程池HiveServer
连上不同的JDBCServer,function不能正常使用 问题 场景一: 通过add jar的方式建立永久函数,当Beeline连上不同的JDBCServer或者JDBCServer重启后都需要重新add jar。 图1 场景一异常信息 场景二: show functions
使用HBase BulkLoad导入数据成功,执行相同的查询时却返回不同的结果 问题 在使用HBase bulkload导入数据时,如果导入的数据存在相同的rowkey值,数据可以导入成功,但是执行相同的查询时可能返回不同的结果。 回答 正常情况下,相同rowkey值的数据加载到
没有需要额外导入的jar包 MapReduce访问多组件样例程序 导入样例工程之后,如果需要使用访问多组件样例程序,请确保集群已安装Hive、HBase服务。 不使用访问多组件样例程序时,如果不影响统计样例程序的正常编译,可忽略多组件样例程序相关报错信息,否则请在导入样例工程后将多组件样例程序类文件删除。
fka。 创建Topic。 在服务端配置用户创建topic的权限。 开启Kerberos认证的安全集群将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”的值修改为“true”。配置完后重启kafka服务。未开启Kerberos认证的普通集群无需此配置。
retainedApplications”参数的值。 请登录FusionInsight Manager管理界面,单击“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”,在左侧的导航列表中,单击“JobHistory2x > 界面”,配置如下参数。 表1 参数说明
请联系管理员获取具有访问Web UI权限的业务账号及其密码。 操作步骤 登录FusionInsight Manager页面。选择“集群 > 待操作集群的名称 > 服务 > HBase > HMaster(主)”打开HBase的Web UI。 在HBase的Web UI页面中,Home页面展示的是HBase的一些概况信息,具体包括以下信息: