检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
<系统域名>@<系统域名>; 系统域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数获取。 “hive/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写。
示例 DROP INDEX if exists productNameIndexTable ON productdb.productSalesTable; 系统响应 二级索引表将被删除,索引信息将在CarbonData表中被清除,删除成功的消息将记录在系统日志中。
Linux中编译并运行程序 进入Linux客户端目录,运行如下命令导入公共环境变量: cd/opt/client sourcebigdata_env 在该目录下用hdfs用户进行命令行认证,用户密码请咨询集群管理员。 kinithdfs kinit一次票据时效24小时。
cd /opt/hadoopclient source bigdata_env kinit <用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input(hdfs dfs命令有同样的作用),创建对应目录。
cd/opt/hadoopclient sourcebigdata_env kinit<用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input(hdfs dfs命令有同样的作用),创建对应目录。
示例 DROP INDEX if exists productNameIndexTable ON productdb.productSalesTable; 系统响应 二级索引表将被删除,索引信息将在CarbonData表中被清除,删除成功的消息将记录在系统日志中。
本代码样例讲解顺序为: 文件系统初始化 写文件 读文件 开发思路 调用FileSystem中的create接口获取文件系统客户端 调用FileSystem中的crteateFile接口创建文件 调用FileOutStream中的wirte接口写文件 调用FileSystem中的openFile
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Kafka可用内存不足,会造成内存溢出导致Broker实例崩溃,影响该Broker正常提供读写服务。
对系统的影响 系统负载高导致JDBC作业提交耗时增加,可能影响作业执行效率。同时,因为是异步检测,所以该告警触发并不会影响作业继续执行。 可能原因 该节点JDBCServer存在负载高等原因,需客户通过集群采集的系统指标及作业执行情况关注集群健康度。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 非堆内存溢出可能导致服务崩溃,服务崩溃后无法使用Oozie服务调度任务。 可能原因 该节点Oozie实例非堆内存使用率过大,或配置的非堆内存不合理,导致使用率超过阈值。
告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 不涉及。 父主题: MRS集群告警处理参考
数据源调优 在实际的应用场景中,数据源为了保证数据的容错性,会将数据保存在本地磁盘中,而Streaming的计算结果全部在内存中完成,数据源很有可能成为流式系统的最大瓶颈点。
系统提供以下连接器,用于配置不同类型数据源的连接参数: generic-jdbc-connector:关系型数据库连接器。 ftp-connector:FTP数据源连接器。 hdfs-connector:HDFS数据源连接器。
从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 在启用了安全服务的集群中执行如下操作,需要在数据库中具有UPDATE权限及对加载数据文件具有owner权限和读写权限,详情请参见Hive应用开发概述。
从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 在启用了安全服务的集群中执行如下操作,需要在数据库中具有UPDATE权限及对加载数据文件具有owner权限和读写权限。
可以使用HDFS服务的系统用户hdfs。或者在集群上创建一个具有supergroup权限的用户,再在客户端中执行此命令。 父主题: 使用HDFS
例如,用户A提交的应用正在运行,此时用户B登录系统并查看应用列表,用户B不应该访问到A用户的应用信息。 配置描述 查看Yarn服务配置参数 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入表1中参数名称。
当系统检测到连续失败的次数低于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 45445 重要 是 变更类型 变更版本 变更描述 变更原因 新增 3.3.1 首次增加 首次增加 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群或系统名称。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive堆内存使用率过高,会影响Hive任务运行的性能,甚至造成内存溢出导致Hive服务不可用。
告警属性 告警ID 告警级别 是否可自动清除 50231 紧急 是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 Tablet异常可能造成数据查询或者数据写入失败