检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决告警ALM-19012 HBase系统表目录或文件丢失告警误报的问题。 解决写入HBase数据将磁盘写满的问题。 解决检查HBase进程的异常日志hs_err_pid_*.log归档到etc目录下,导致配置目录过大的问题。
if (args.length < 2) { System.out.println("HBaseBulkPutTimestampExample {tableName} {columnFamily} are missing an argument") return
if not os.path.isfile(file_path): raise TypeError(file_path + " does not exist") all_the_text = open(file_path).read() return
以root用户登录客户端所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行以下命令,检查“hdfs://hacluster/user/{用户名}/.Trash/Current/ ”目录下是否存在该warehouse目录。
解决办法 通过集群Manager配置管理页面修改“max_table_size_to_drop”和“max_partition_size_to_drop”配置项的值,0默认为不限制。 父主题: 使用ClickHouse
以root用户登录客户端所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行以下命令进入HDFS客户端安装目录。
source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建HBase表的权限,具体请参见角色管理配置拥有对应权限的角色,参考创建用户章节,为用户绑定对应角色。
class MyProcessorSupplier implements ProcessorSupplier<String, String> { @Override public Processor<String, String> get() { return
192.168.169.84:22550/default> create table testACL(c string); Error: org.apache.spark.sql.execution.QueryExecutionException: FAILED: Execution Error, return
192.168.169.84:22550/default> create table testACL(c string); Error: org.apache.spark.sql.execution.QueryExecutionException: FAILED: Execution Error, return
告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 不涉及。 父主题: MRS集群告警处理参考
图5 DStream算子转译 Structured Streaming常用概念 Input Source 输入数据源,数据源需要支持根据offset重放数据,不同的数据源有不同的容错性。 Sink 数据输出,Sink要支持幂等性写入操作,不同的sink有不同的容错性。
图5 DStream算子转译 Structured Streaming常用概念 Input Source 输入数据源,数据源需要支持根据offset重放数据,不同的数据源有不同的容错性。 Sink 数据输出,Sink要支持幂等性写入操作,不同的sink有不同的容错性。
单击“流表管理”进入流表管理页面。 单击“新建流表”,在新建流表页面参考表1填写信息,单击“确定”,完成流表创建。创建完成后,可在对应流表的“操作”列对流表进行编辑、删除等操作。 图1 新建流表 表1 新建流表信息 参数名称 参数描述 备注 流/表名称 流/表的名称。
表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 执行以下命令,切换到omm用户。 su - omm 依次执行以下命令,查看连接状态。其中host2为步骤 1中获取的除主OMS节点以外的其他节点。
main(String[] args) throws IOException{ if (args.length < 1) { System.out.println("JavaHBaseBulkGetExample {tableName}"); return
throws IOException { if (args.length < 1) { System.out.println("JavaHBaseForEachPartitionExample {tableName} {columnFamily}"); return
args) throws IOException{ if (args.length < 2) { System.out.println("JavaHBaseBulkLoadExample {outputPath} {tableName}"); return
登录MRS Manager系统。 选择“服务管理 > 下载客户端 ”,下载“完整客户端”到“远端主机”上,即下载客户端程序到新申请的弹性云服务器上。 以root用户安装集群客户端。 执行以下命令解压客户端包。