检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FlinkServer作业引擎概述 FlinkServer提供基于Web的可视化开发平台,用户只需要编写SQL即可开发作业,极大降低作业开发门槛。同时通过作业平台能力开放,支持业务人员自行编写SQL开发作业来快速应对需求,大大减少Flink作业开发工作量。 FlinkServer WebUI特点
ALTER MATERIALIZED VIEW STATUS 语法 ALTER MATERIALIZED VIEW qualifiedName SET STATUS <status> 描述 修改物化视图的状态,仅支持ENABLE和SUSPEND相互转换,以及将DISABLE状态修
CLUSTERING 本章节仅适用于MRS 3.2.0及之后版本。 命令功能 对Hudi表进行clustering操作,具体作用可以参考Hudi Clustering操作说明章节。 命令格式 执行clustering: call run_clustering(table=>'[table]'
通过JDBC客户端代码连接ThriftServer,来访问SparkSQL的数据。 增强特性 对比开源社区,MRS还提供了两个增强特性,ThriftServer HA方案和设置ThriftServer连接的超时时间。 ThriftServer HA方案,当ThriftServer主节点发生故障时,备
ALM-45476 KuduTServer进程tablet数量超过阈值 告警解释 系统每60秒周期性检测Kudu的监控指标,当检测到KuduTServer进程tablet数量过高时,此时产生该告警。 KuduTServer进程tablet数量正常时,系统认为Kudu实例服务恢复,告警清除。
Ranger Ranger基本原理 Ranger与其他组件的关系 父主题: 组件介绍
} [, ...] ) [, ...] | query } 使用示例 向test表中一次性插入多行数据: INSERT INTO test VALUES (1, 2), (3, 4); 向test表中导入一个查询语句结果: INSERT INTO test (c1, c2) SELECT
VERIFY 语法 VERIFY MATERIALIZED VIEW MVNAME (mvname1,mvname2...) ORIGINALSQL query 描述 给定一条SQL查询语句,验证它是否可以被指定的物化视图重写。 示例 验证指定SQL是否能被物化视图mv.tpcds
安全模式的MRS集群统一使用Kerberos认证协议进行安全认证。Kerberos协议支持客户端与服务端进行相互认证,提高了安全性,可有效消除使用网络发送用户凭据进行模拟认证的安全风险。集群中由KrbServer服务提供Kerberos认证支持。 Kerberos用户对象 Kerberos协议中,每
Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 问题 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,执行应用时显示如下异常。
修改MRS集群Kerberos管理员用户密码 该任务指导用户定期修改MRS集群Kerberos或OMS Kerberos(MRS 3.x及之后版本)管理员“kadmin”的密码,以提升系统运维安全性。 修改该密码会导致已经下载的用户凭证不可用,请修改该密码后重新下载认证凭据并替换旧凭据。
KafkaManager KafkaManager是Apache Kafka的管理工具,提供Kafka集群界面化的Metric监控和集群管理。 通过KafkaManager进行以下操作: 支持管理多个Kafka集群 支持界面检查集群状态(主题,消费者,偏移量,分区,副本,节点) 支持界面执行副本的leader选举
Manager Manager基本原理 Manager关键特性 父主题: 组件介绍
ZooKeeper ZooKeeper基本原理 ZooKeeper与其他组件的关系 ZooKeeper开源增强特性 父主题: 组件介绍
ALM-45479 Tserver进程tablet数量超过阈值 告警解释 系统每60秒周期性检测Kudu的服务状态,当检测到Tserver进程tablet数量过高时,此时产生该告警。 Tserver进程tablet数量正常时,系统认为Kudu实例服务恢复,告警清除。 告警属性 告警ID
Loader Loader基本原理 Loader与其他组件的关系 Loader开源增强特性 父主题: 组件介绍
Iceberg Iceberg原理介绍 Iceberg是一种开放的数据湖表格式,可以基于Iceberg快速地在HDFS或OBS上构建自己的数据湖存储服务。 Iceberg该功能当前处于公测阶段,如需使用请提交工单申请开通。 当前版本Iceberg仅支持Spark引擎,如需使用其他引擎构建数据湖服务,请使用Hudi。
如果没有指定列名列表,则query语句产生的列必须与将要插入的列完全匹配。 使用insert into时,会往表中追加数据,而使用insert overwrite时,如果表属性“auto.purge”被设置为“true”,直接删除原表数据,再写入新的数据。 如果对象表是分区表时,insert ove
影响。 例如在执行INSERT语句时,ORDER BY子句不会对插入的数据产生影响,是个冗余的操作,会对整个INSERT语句的整体性能产生负面影响,因此HetuEngine会跳过ORDER BY操作。 ORDER BY只作用于SELECT子句: INSERT INTO some_table
true 是否开启作业告警: true:开启 false:不开启 通过客户端注册到FlinkServer的作业,如果未开启作业注册到FlinkServer功能,暂不支持在FlinkServer WebUI执行启动、开发、停止等操作。 需确保未使用“Session模式”提交作业并且需要指定作业名。