检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作,例如读文件、写文件等操作。 执行HDFS Shell的方法: 进入HDFS客户端如下目录,直接输入命令即可。
租户要操作Phoenix还需要额外操作的权限,即Phoenix系统表的RWX权限。
选择“系统管理 > 集群连接管理”,进入集群连接管理页面。 单击“创建集群连接”,在弹出的页面中参考表1填写信息,单击“确定”,完成集群连接创建。创建完成后,可在对应集群连接的“操作”列对集群连接进行编辑、测试、删除等操作。
配置参数 登录FusionInsight Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。
选择“系统管理 > 集群连接管理”,进入集群连接管理页面。 单击“创建集群连接”,在弹出的页面中参考表1填写信息,单击“确定”,完成集群连接创建。创建完成后,可在对应集群连接的“操作”列对集群连接进行编辑、测试、删除等操作。
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作,例如读文件、写文件等操作。 执行HDFS Shell的方法: 进入HDFS客户端如下目录,直接输入命令即可。
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作,例如读文件、写文件等操作。 执行HDFS Shell的方法: 进入HDFS客户端如下目录,直接输入命令即可。
配置描述 在Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”,选择“全部配置”,在NodeManager的配置文件“yarn-site.xml”中配置下面的参数来更改日志级别。
告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
告警解释 系统以用户配置的告警周期检查Checkpoint连续失败次数,如果Flink作业Checkpoint连续失败次数达到用户配置的阈值,则发送告警。当Checkpoint恢复正常,或者作业重启成功,则告警恢复。
附加信息 ThreshHoldValue 系统当前指标取值满足自定义的告警设置条件的门限值。 CurrentValue 系统当前指标取值满足自定义的告警设置条件的当前值。
在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
取值范围: 不涉及 RootVolumeType String 参数解释: 节点系统盘的类型。 取值范围: 不涉及 RootVolumeResourceSpecCode String 参数解释: 节点系统盘产品规格。
系统内部组,仅限组件间内部使用。 compcommon 系统内部组,用于访问集群公共资源。所有系统用户和系统运行用户默认加入此用户组。 操作系统默认用户组 wheel 系统内部运行用户“omm”的主组。
MetaStore动态分区数超出阈值导致SQL报错 现象描述 执行SparkSQL或HiveSQL命令时,系统报错如下: Number of dynamic partitions created is 2001, which is more than 2000.
/folder2</name> <value>hdfs://NS2/folder2</value> </property> Hive和Spark中的配置 fs.defaultFS - 默认文件系统的名称。URI模式必须设置为“viewfs”。
租户要操作Phoenix还需要额外操作的权限,即Phoenix系统表的RWX权限。
“hdfs://hacluster”为HBase使用的文件系统名,“/hbase”为HBase在文件系统上的根目录,可登录FusionInsight Manager,选择“集群 > 服务 > HBase > 配置”,在搜索框中分别搜索“fs.defaultFS”和“hbase.data.rootdir
选择“并行文件系统 > 创建并行文件系统”,创建一个名称为wordcount01的文件系统。 wordcount01仅为示例,文件系统名称必须全局唯一,否则会创建并行文件系统失败。