检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
具体步骤可参见初始化数据盘对新磁盘进行初始化操作。 执行lsblk命令,查看新增磁盘分区信息。 图2 查看新增磁盘(分区) 使用df -TH获取文件系统类型。 图3 获取文件系统类型 使用对应的文件系统类型对新磁盘(分区)进行格式化。 例如:mkfs.ext4 /dev/sdd1 执行如下命令挂载新磁盘。 mount
并同步来自Active节点的修改。根据修改日志,Standby节点将变动应用到本地文件系统元数据中。一旦发生故障转移,Standby节点能够确保与Active节点的状态是一致的。这保证了文件系统元数据在故障转移时在Active和Standby之间是完全同步的。 为保证故障转移快速
message 根据业务需要,自定义的流程异常打印信息 ${wf:errorMessage(wf:lastErrorNode())} Oozie系统内置的异常信息函数 样例代码 <kill name="fail"> <message> This workflow
message 根据业务需要,自定义的流程异常打印信息 ${wf:errorMessage(wf:lastErrorNode())} Oozie系统内置的异常信息函数 样例代码 <kill name="fail"> <message> This workflow
在集群外节点上安装客户端 准备一个用于安装MRS集群客户端的Linux弹性云服务器。 云服务器操作系统及版本建议如下: 表1 操作系统参考列表 CPU架构 操作系统 支持的版本号 x86计算 Euler 可用:Euler OS 2.2 可用:Euler OS 2.3 可用:Euler
ERROR表示当前时间处理存在错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 请参考修改集群服务配置参数,进入Flink的“全部配置”页面。
=> 'h1', instant_time=>'20220915113127525'); 注意事项 只能依次回滚最新的commit时间戳 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi CALL COMMAND语法说明
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 进程状态异常会导致该进程无法提供正常服务,进而可能导致服务整体异常。 可能原因 主机中正在等待的IO(磁盘IO、网络IO等)在较长
18023 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。 对系统的影响 应用任务结束时间变长。 新应用提交后长时间无法运行。 可能原因 NodeManager节点资源过小。 队列最大资源容量设置过小,AM最大资源百分比设置过小。
大数据存算分离场景,请务必使用OBS并行文件系统(并行文件系统),使用普通对象桶会对集群性能产生较大影响。 在MRS 3.2.0-LTS.1及后续版本中,MRS集群内组件默认支持数据防误删策略,即组件用户删除的文件数据并不会直接被删除,而是会保存到OBS文件系统内的用户回收站目录中。 为节省O
cd {客户端安装目录} kinit {用于认证的业务用户} 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /data(hdfs dfs命令有同样的作用),创建对应目录。 在Linux系统HDFS客户端使用命令hadoop fs -put data /data,上传数据文件。
或者文件系统进行处理。查询下推能带来以下好处: 提升整体的查询性能。 减少HetuEngine和数据源之间的网络流量。 减少远端数据源的负载。 HetuEngine对查询下推的具体支持情况,依赖于具体的Connector,以及Connector相关的底层数据源或存储系统。 数据源
Manager,选择“集群 > 服务 > HBase > 配置”,在搜索框中搜索并修改以下参数: fs.coldFS:修改该参数值为OBS文件系统名,例如:obs://OBS并行文件系统名称。 hbase.fs.hot.cold.enabled:该参数值默认为“false”,必须修改为“true”。 fs
节点上读取数据。 数据保密性 MRS分布式文件系统在Apache Hadoop版本基础上提供对文件内容的加密存储功能,避免敏感数据明文存储,提升数据安全性。 业务应用只需对指定的敏感数据进行加密,加解密过程业务完全不感知。在文件系统数据加密基础上,Hive服务支持列加密(参见使用
值: 登录到MRS Manager界面,选择“集群 > 服务 > Ranger > 配置 > 全部配置 > UserSync(角色) > 系统”,修改参数“GC_OPTS”值。例如将内存修改为“-Xms2G -Xmx2G”。 父主题: Ranger常见问题
-ef|grep =acs查询进程是否已经自动启动。 替换executor用户的keytab文件。 登录MRS Manager页面,选择“系统 > 用户”,在executor用户所在的“操作”列,单击“下载认证凭据”,解压后获取keytab文件。 使用root用户登录主管理节点,
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 进程状态异常会导致该进程无法提供正常服务,进而可能导致服务整体异常。 可能原因 主机中正在等待的IO(磁盘IO、网络IO等)在较长
ERROR表示当前时间处理存在错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 日志格式 DBService的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志
安全认证有两种方式: 命令行认证: 提交Kudu应用程序运行前,在Kudu客户端执行如下命令进行认证。 kinit 组件业务用户 该方式仅适用于Linux操作系统,且安装了Kudu的客户端。 代码认证: 通过获取客户端的principal配置文件和keytab文件进行认证。 父主题: 准备Kudu应用开发环境
不支持未安装主备管理节点集群进行HA证书替换操作。 证书文件和密钥文件可向企业证书中心申请或由集群用户生成。 对系统的影响 更换过程中Manager需要重启,此时系统无法访问且无法提供服务。 前提条件 获取需要更换的HA根证书文件“root-ca.crt”和密钥文件“root-ca