检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开启 关闭 租户是否可以超量占用内存资源 如果关闭内存软隔离,系统检测到租户内存使用超出限制后将立即取消租户组内内存占用最大的若干个任务。 如果开启内存软隔离,若该系统有空闲内存资源则该租户在超出内存的限制后可继续使用系统内存;只有当集群资源紧张时,才取消租户组内内存占用最大的若干任务。
实例”,获取ClickHouseServer实例对应的业务IP地址。 系统域名:默认为hadoop.com。可登录集群FusionInsight Manager,单击“系统 > 权限 > 域和互信”,“本端域”参数值即为系统域名。在执行命令时改为小写。 以root用户登录ClickHouseServer实例所在的节点。
如果源端(例如“blee”)为空目录,且目的端(例如“aaa”)目录不存在,系统会自动创建出来“aaa”目录,但是不会在“aaa”目录下面再创建“blee”目录。 如果源端“blee”不是空目录,且目的端“aaa”目录不存在,系统会自动创建出来“aaa”目录,并在“aaa”目录下面再创建“blee”目录,进行文件迁移。
500G的测试时,使用默认配置出现错误。所以当数据量较大时需要适当地调整该参数。 配置参数 登录FusionInsight Manager系统。 详细操作请参考访问集群Manager。 在Manager系统中,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”。在搜索框中输入参数名称。 表1
产生告警的角色名称。 NameService名 产生告警的NameService名称。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS集群磁盘容量不足,会影响到HDFS的数据写入。如果DataNode的剩余空间都已经给副本预留,则写入HDFS数据失败。
import和sqoop export操作及相关参数介绍请参见从零开始使用Sqoop。 登录OBS管理控制台,选择“并行文件系统”,进入步骤 7配置的存储MySQL数据的并行文件系统路径,下载并查看对应的数据文件,内容与步骤 3MySQL表中插入的数据一致。 11,A 22,B 相关文档 若执行sqoop
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Kafka可用直接内存不足,会造成内存溢出导致Broker实例崩溃,影响该Broker正常提供读写服务。 可能原因
RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 ZooKeeper可用连接数不足,当连接率超过百分之百时无法处理外部连接。 可能原因 该节点ZooKeepe
告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 触发条件 告警触发的条件。 对系统的影响 业务延迟:主机磁盘IO读取等待时长过高时,可能会导致业务进程运行处理缓慢、业务延迟。
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Flume证书文件已经非法或损坏,功能受限,Flume客户端将无法访问Flume服务端。 可能原因 Flume证书文件非法或损坏。
表示目录或文件的属组。 权限 表示目录或文件的权限设置。 日期 表示目录或文件创建时间。 在搜索框输入关键字,系统会在当前目录自动搜索目录或文件。 清空搜索框的内容,系统会重新显示所有目录和文件。 创建新文件或者目录 在“文件浏览器”界面,单击“新建”。 选择一个操作。 文件:表
分析集群和混合集群支持添加租户管理权限,流式集群不支持添加租户管理权限。给新建账号添加租户管理权限方法如下: MRS 3.x之前版本: 登录MRS Manager。 在“系统设置 > 用户管理”中选择新建的用户,单击“操作”列中的“修改”。 在“分配角色权限”中单击“选择并绑定角色”。 绑定Manager_te
以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 前提条件 确保本地环境的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件,详情请参
原因分析 在出现告警时间点发现虚拟机发生了重启,告警发生的原因是因虚拟机重启导致的。 经OS定位虚拟机发生重启的原因是节点没有可用的内存,系统发生内存溢出触发了oom-killer,当进程处于被调用的状态会使进程处于disk sleep状态,最终导致虚拟机发生重启。 查看占用的内
断开网络连接等。这些清理操作可能会因为各种原因而耗时较长。为了避免清理操作无限期阻塞,可以设置一个最大超时时间。当清理操作超过这个时间时,系统会采取相应的措施,强制终止清理进程,确保集群资源的及时释放与高效利用。 约束与限制 本章节仅适用于MRS 3.2.0-LTS及之后版本。 配置参数
QAS实例可对用户的SQL执行历史记录提供自动感知、自动学习、自动诊断服务,提升在线SQL运维能力,自动加速在线SQL分析任务,开启SQL诊断能力后,系统可实现如下能力: 自动感知并向集群管理员展现不同时间周期范围内的租户级、用户级的SQL任务统计,帮助集群管理员快速预判业务运行状态和潜在风险。
执行SparkSql语句 在“Database”右侧下拉列表选择一个SparkSql中的数据库,默认数据库为“default”。 系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。 图1 选择数据库 单击指定的表名,可以显示表中所有的列。 光标移动到表所在的行,单击
HDFS客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用HDFS客户端对HDFS文件系统进行操作,例如读文件、写文件等操作。 前提条件 已安装客户端。 例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用
lancer接口工作方式类似。Mover能够基于设置的数据存储策略,将集群中的数据重新分布。 通过运行Mover,周期性地检测HDFS文件系统中用户指定的HDFS文件或目录,判断该文件或目录是否满足设置的存储策略,如果不满足,则进行数据迁移,使目标目录或文件满足设定的存储策略。 约束与限制
MRS集群管理员可配置HBase集群容灾功能,以提高系统可用性。容灾环境中的主集群完全故障影响HBase上层应用连接时,需要为HBase上层应用配置备集群信息,才可以使得该应用在备集群上运行。 本章节适用于MRS 3.x及之后版本。 对系统的影响 切换业务后,写入备集群的数据默认不会同