检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
运行日志 FATAL FATAL表示系统运行的致命错误信息。 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作:
Tserver进程tablet数量超过阈值 告警解释 系统每60秒周期性检测Kudu的服务状态,当检测到Tserver进程tablet数量过高时,此时产生该告警。 Tserver进程tablet数量正常时,系统认为Kudu实例服务恢复,告警清除。 告警属性 告警ID 告警级别 是否自动清除
点,并执行su - omm命令切换到omm用户。 执行如下命令登录数据库。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 gsql -p 20051 -d hivemeta -U username -W password
以是1个到8个,以“,”分隔,包括对应metric下所有tagk的值。 注意事项 创建表时,不需要指定timestamp和value字段,系统会根据指定的tags自动构建字段,包含以下字段,其中TAG1和TAG2由tags指定。 TAG1 String TAG2 String timestamp
rtifacts信息。 在IDEA主页面,选择“File > Project Structures...”进入“Project Structure”页面。 在“Project Structure”页面,选择“Artifacts”,单击“+”并选择“From modules with
计算资源可分为静态服务资源和动态资源: 大数据集群为Yarn分配的资源是静态服务资源,可以由Yarn动态分配给任务队列计算使用。 静态服务资源 静态服务资源是集群分配给各个服务的计算资源,每个服务的计算资源总量固定,不与其他服务共享,是静态的。这些服务包括Flume、HBase、HDFS和Yarn。
Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。
限失败。 处理步骤 登录FusionInsight Manager,选择“系统 > 权限 > 角色”。 单击“添加角色”,在“配置资源权限”中单击集群名称,确认可配置资源权限的组件。 选择“集群 > 服务”,查看可配置资源权限的组件的运行状态是否都为“良好”。 如果不为“良好”,
z任务执行细节。 前提条件 当前MRS集群已安装Yarn服务的TimelineServer实例。 登录Tez WebUI界面 登录Manager系统,具体请参见访问集群Manager,在Manager界面选择“集群 > 服务 > Tez”,在“基本信息”中单击“Tez WebUI”右侧的链接,打开Tez
Principal "testpol@<系统域名>" modified. 执行以下命令,查看Storm用户“testpol”用户的当前信息。 getprinc testpol 界面显示如下信息,说明指定用户使用了新的密码策略: Principal: testpol@<系统域名> …… Policy:
使用admin用户登录Manager界面,选择“集群 > 集群属性”,查看集群的“认证模式”并记录。 选择“集群 > 服务 > Hive”,单击页面右上角的“更多”查看Hive是否启用Ranger鉴权。 选择“系统 > 权限 > 用户”,单击“添加用户”,配置以下参数并单击“确定”,创建执行自定义函数的用户。
升级Master节点规格 MRS大数据集群采用Manager实现集群的管理,而管理集群的相关服务,如HDFS存储系统的NameNode,Yarn资源管理的ResourceManager,以及MRS的Manager管理服务都部署在集群的Master节点上。 随着新业务的上线,集群规模不断扩大,Ma
或者文件系统进行处理。查询下推能带来以下好处: 提升整体的查询性能。 减少HetuEngine和数据源之间的网络流量。 减少远端数据源的负载。 HetuEngine对查询下推的具体支持情况,依赖于具体的Connector,以及Connector相关的底层数据源或存储系统。 数据源
{ return new Tuple2<>(); } return new Tuple2<>(words[0], words[1]);
需和集群中已存在且状态正常的队列名称相同。 NFS IP 模式 目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 服务器IP地址 NAS服务器IP地址。 服务器共享路径 用户配置的NAS服务器共享目录。 服务器共享路径不能设置为根目录,且共享路径的用户组和属组必须为nobody:nobody。
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 GC时间超出阈值,会影响到Hive数据的读写,可能导致任务执行变慢,甚至服务异常重启。 可能原因
基于Iceberg快速地在HDFS或OBS上构建自己的数据湖存储服务。 Iceberg该功能当前处于公测阶段,如需使用请提交工单申请开通。 当前版本Iceberg仅支持Spark引擎,如需使用其他引擎构建数据湖服务,请使用Hudi。 图1 Iceberg基本架构 Iceberg特性
产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 使用Kerberos进行的二次认证较慢。 ZooKeeper服务异常。 导致节点故障。 可能原因 该节点配置了DNS客户端。 该节点安装并启动了DNS服务端。 处理步骤
query cur.execute("show tables") # Return column info from query print cur.getSchema()
运行Spark Streaming任务参数调优的注意事项 问题 运行Spark Streaming任务时,随着executor个数的增长,数据处理性能没有明显提升,对于参数调优有哪些注意事项? 回答 在executor核数等于1的情况下,遵循以下规则对调优Spark Streaming运行参数有所帮助。