检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Hive支持创建超过32个角色 操作场景 因为集群节点操作系统用户组个数限制,最多允许用户同时属于32个组,从而影响Hive的角色数量(Hive角色通常映射为系统用户组)。 默认情况下,MRS集群中Hive不能创建超过32个角色,可能无法满足多组织、多租户、精细化数据权限管控等复杂场景的权限配置需求。
如果用户不手动设置ID,系统将自动给每个算子分配一个ID。只要该算子的ID不改变,即可从savepoint恢复,ID的产生取决于用户的应用代码,并且对应用代码的结构十分敏感。因此,强烈推荐用户手动为每个算子设置ID。Savepoint产生的数据将被保存到配置的文件系统中,如FsStat
类别 参数名称 参数含义 定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 触发条件 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Tablet数量高于预期时,Kudu引擎的查询性能会降低。
Redis实例的Kerberos服务名(启用安全模式时需要设置)。 示例:'redis/hadoop.{系统域名}'。 系统域名:登录FusionInsight Manager界面,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 【示例】 CREATE
参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 用户提交到HetuEngine该故障计算实例的SQL任务会执行失败。 可能原因 HDFS服务异常 Yarn服务异常 Yarn队列资源不足 计算实例进程故障
ger访问权限策略。 前提条件 MRS集群管理员已明确业务需求。 已登录Manager。 创建HBase角色 在Manager界面,选择“系统 > 权限 > 角色”。 单击“添加角色”,然后在“角色名称”和“描述”输入角色名字与描述。 设置角色“配置资源权限”请参见表1。 HBase权限:
6补丁期间会重启MRS Manager,滚动重启Hadoop、Hive、Spark、Kafka、Ranger以及相关依赖服务,重启MRS Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。 MRS 1.9.0.6补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户
MEM”参数设置内存。 示例 在执行spark wordcount计算中。1.6T数据,250个executor。 在默认参数下执行失败,出现Futures timed out和OOM错误。 因为数据量大,task数多,而wordcount每个task都比较小,完成速度快。当task数多时
ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 参考修改集群服务配置参数,进入Hive服务“全部配置”页面。
通过数据应用访问Alluxio 访问Alluxio文件系统的端口号是19998,即地址为alluxio://<alluxio的master节点ip>:19998/<PATH>,本节将通过示例介绍如何通过数据应用(Spark、Hive、Hadoop MapReduce和Presto)访问Alluxio。
不能提交Hive相关作业 请检查是否存在Hive服务以及Hive服务是否正常 400 0169 Flink jobs cannot be submitted. 不能提交Flink作业 请检查是否存在Flink服务以及Flink服务是否正常 400 0170 Failed to collect
程序会有如下报错: 此时需要用户设置系统的环境变量USERDNSDOMAIN以规避该问题,具体如下: 单击“计算机”右键,选择“属性”,然后选择“高级系统设置 > 高级 > 环境变量”。 设置系统环境变量,在系统变量下单击“新建”,弹出新建系统变量框,变量名中输入“USERDNS
义阈值(默认150)时,系统产生此告警。 当系统检测到的数量减少到阈值以下时,告警将自动解除。 告警属性 告警ID 告警级别 是否自动清除 29012 重要 是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称
的资源管理系统,而ApplicationMaster则负责MapReduce作业的数据切分、任务划分、资源申请和任务调度与容错等工作。 Yarn和ZooKeeper的关系 ZooKeeper与Yarn的关系如图3所示。 图3 ZooKeeper与Yarn的关系 在系统启动时,Re
0版本中的所有特性,详情请参见https://cwiki.apache.org/confluence/display/hive/languagemanual。 系统提供的扩展Hive语句如表1所示。 表1 扩展Hive语句 扩展语法 语法说明 语法示例 示例说明 CREATE [TEMPORARY] [EXTERNAL]
IP 模式 目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 服务器IP地址 NAS服务器IP地址。 最大备份数 备份目录中可保留的备份文件集数量。 服务器共享路径 用户配置的NAS服务器共享目录。 服务器共享路径不能设置为根目录,且共享
common frames omitted Caused by: java.util.concurrent.TimeoutException: Futures timed out after [10000 milliseconds] 可能原因 Flink开启了SSL通信加密,却没有正确的配置SSL证书。
手动续费 包年/包月MRS从购买到被自动删除之前,您可以随时在MRS控制台为集群续费,以延长集群的使用时间。 在MRS管理控制台续费 登录MRS管理控制台。 在现有集群列表中单击需要续费的集群所在行的“操作”列的“续费”即可进行续费。 图1 续费MRS集群 统一包年/包月资源的到期日
hours_allowed属性:配置是否根据系统时间执行策略评估。 hours_allowed的值是以逗号分隔的数字,范围从0到23,表示系统时间。 示例:<policy name ="policy1" hours_allowed ="2-6,13-14"> 如果当前系统时间在配置的范围内,则继续评估。否则,将跳过评估。
但是不能将任何块添加到文件中。目录不使用主机文件系统空间,也不计入空间配额。用于保存文件元数据的主机文件系统空间不计入配额。 配额会随fsimage持久保存。系统启动时,如果fsimage与配额冲突(可能是fsimage变更),系统会上报异常。设置或删除配额操作会生成日志记录。 存储类型配额(Storage