检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IAM同步管理接口 获取已经同步的IAM用户和用户组 IAM同步 指定用户、用户组取消同步 父主题: API V2
MRS是否支持更换网段? 问: MRS集群内节点是否支持更换网段? 答: MRS集群内节点支持更换网段。 在集群详情页“默认生效子网”右侧单击“切换子网”。 选择当前集群所在VPC下的其他子网,即可实现可用子网IP的扩充。 新增子网不会影响当前已有节点的IP地址和子网。 父主题:
如何查看MRS Hive元数据? Hive的元数据存放在MRS服务集群的GaussDB中,可执行如下步骤查看: 以root用户登录到DBServer主节点。 执行以下命令登录Hive元数据库: su - omm source $DBSERVER_HOME/.dbservice_profile
Hue与其他组件的关系 Hue与Hadoop集群的关系 Hue与Hadoop集群的交互关系如图1所示。 图1 Hue与Hadoop集群 表1 Hue与其它组件的关系 名称 描述 HDFS HDFS提供REST接口与Hue交互,用于查询、操作HDFS文件。 在Hue把用户请求从用户
节点隔离 当用户发现某个主机出现异常或故障,无法提供服务或影响集群整体性能时,可以临时将主机从集群可用节点排除,使客户端访问其他可用的正常节点。 在为MRS集群安装补丁的场景中,也支持排除指定节点不安装补丁。 隔离主机仅支持隔离MRS集群内的非管理节点。 主机隔离后该主机上的所有
分析服务。 ZooKeeper 提供分布式、高可用性的协调服务能力。帮助系统避免单点故障,从而建立可靠的应用程序。 KrbServer 密钥的管理中心,负责票据的分发。 Yarn 资源管理系统,它是一个通用的资源模块,可以为各类应用程序进行资源管理和调度。 DBService 高
利用MemArtsCC的本地存储,访问热点数据不必跨网络,可以提升OBS上层应用数据读取效率。 减少OBS服务端压力 MemArtsCC会将热点数据存储在计算侧集群,可以起到降低OBS服务端带宽的作用。 MemArtsCC与Spark的关系 Spark从OBS读取数据,OBS会从MemA
Doris与其他组件的关系 Doris与HDFS组件的关系 Doris支持导入和导出HDFS数据,并且支持直接查询HDFS数据源。 Doris与Hudi组件的关系 Doris支持直接查询Hudi数据源。 Doris与Spark组件的关系 使用Spark Doris Connect
将原节点上的部分数据迁移至新增节点上,从而达到扩容后的数据均衡。 高可用HA部署架构 MRS服务提供了基于ELB的HA部署架构,可以将用户访问流量自动分发到多台后端节点,扩展系统对外的服务能力,实现更高水平的应用容错。如图3所示,客户端应用请求集群时,使用ELB(Elastic Load
例行维护周期 任务场景 例行维护内容 每天 检查集群服务状态 检查每个服务的运行状态和配置状态是否正常,是否为绿色。 检查每个服务中,角色实例的运行状态和配置状态是否正常,是否为绿色。 检查每个服务中,角色实例的主备状态是否可以正常显示。 检查服务与角色实例的“概览”显示结果是否正常。 检查集群主机状态
管理MRS集群作业 停止删除MRS集群作业 克隆MRS集群作业 配置MRS集群作业消息通知 父主题: 管理MRS集群
MRS集群容量调整 扩容MRS集群 扩容MRS集群节点数据盘 缩容MRS集群 缩容ClickHouseServer节点 退订MRS包周期集群指定节点 MRS集群Task节点弹性伸缩 父主题: MRS集群运维
口进行接收数据(不同操作系统的机器,命令可能不同,suse尝试使用netcat -lk 9999): nc -lk 9999 提交任务命令执行之后,在该命令下输入要提交的数据,通过HBase表进行接收。 在构造一个端口进行接收数据时,需要在客户端所在服务器上安装netcat。 开发思路
直处于等待状态 问题现象 使用MRS服务安装集群,主要安装ZooKeeper、Kafka。 在使用Consumer从Kafka消费数据时,发现客户端一直处于等待状态。 可能原因 Kafka服务异常。 客户端Consumer侧采用非安全访问,服务端配置禁止访问。 客户端Consumer侧采用非安全访问,Kafka
Kafka Consumer消费数据丢失 问题背景与现象 用户将消费完的数据存入数据库,发现数据与生产数据不一致,怀疑Kafka消费丢数据。 可能原因 业务代码原因 Kafka生产数据写入异常 Kafka消费数据异常 解决办法 Kafka排查: 通过consumer-groups
使用Ranger(MRS 1.9.2) 创建Ranger集群 访问Ranger WebUI及同步Unix用户到Ranger WebUI 在Ranger中配置Hive/Impala的访问权限 在Ranger中配置HBase的访问权限
INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及数据库底层数据传输的信息。 如果您需要修改日志级别,请执行如下操作: 登录FusionInsight Manager系统。 选择“集群 > 待操作集群的名称 > 服务 > Oozie > 配置”。
数据导出 概述 使用Loader导出数据 典型场景:从HDFS/OBS导出数据到SFTP服务器 典型场景:从HBase导出数据到SFTP服务器 典型场景:从Hive导出数据到SFTP服务器 典型场景:从HDFS/OBS导出数据到关系型数据库 典型场景:从HBase导出数据到关系型数据库
ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 登录Manager。 选择“集群 > 服务 > Tez
Flink运维管理 Flink常用配置参数 Flink日志介绍 父主题: 使用Flink