检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据湖:其他IT系统上的数据,时序数据库可以通过跨源分析能力与数据湖中的全量数据进行关联,与IT数据进行进一步的复杂分析。 HetuEngine:跨源分析引擎,可以连接多个大数据组件进行数据查询,并可以将多个大数据组件中的数据在HetuEngine中进行统一分析。
约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 root_volume 否 Volume object 参数解释: 节点系统盘信息,部分虚拟机或BMS自带系统盘的情况该参数可选,其他情况该参数必选。
云服务器操作系统及版本建议如下: 表3 操作系统参考列表 CPU架构 操作系统 支持的版本号 x86计算 Euler EulerOS 2.5 SUSE SUSE Linux Enterprise Server 12 SP4(SUSE 12.4) Red Hat Red Hat-7.5
hdfs dfs -chmod 1777 /user 为了系统文件的安全,建议用户将非临时目录进行安全加固,例如: /user:777 /mr-history:777 /mr-history/tmp:777 /mr-history/done:777 /user/mapred:755
查看作业健康度 在作业管理页面查看当前作业的健康状态: 空:作业未运行,无健康状态 绿色图标:健康 黄色图标:亚健康 红色图标:不健康 导出所有作业健康报告 单击“作业健康报告”,系统会自动将所有作业的健康状态信息导出至本地,包括作业名称,健康度,提交用户,告警信息,配置信息和启动时间等
配置参数 登录FusionInsight Manager系统。 详细操作请参考访问集群Manager。 选择“集群 > 服务 > Spark2x/Spark > 配置”,单击“全部配置”,搜索并调整以下参数。
操作步骤 在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1 下载认证凭据 配置Flume角色客户端参数。
登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
系统中不保留文件与LocatorId的映射关系,只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时,系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
系统中不保留文件与LocatorId的映射关系,只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时,系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
系统中不保留文件与LocatorId的映射关系,只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时,系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
true --skip-ro-suffix 注册时跳过读取_ro后缀的读优化视图 N false --use-file-listing-from-metadata 从Hudi的元数据中获取文件列表 N false --verify-metadata-file-listing 根据文件系统验证
对系统的影响 集群获取不到最新的临时AK/SK信息,在存算分离场景下,可能导致访问OBS文件失败,引起上层组件业务无法正常处理数据。 可能原因 MRS集群meta角色状态异常。 MRS集群绑定过IAM委托且访问过OBS,后续委托被解绑,导致当前集群未绑定委托。
选择“系统 > 权限 > 角色”。 单击“添加角色”,配置如下参数创建一个角色,详情请参见创建角色。 填写角色的名称,例如mrrole。
对系统的影响 启用集群间复制功能需要重启Yarn,服务重启期间无法访问。 前提条件 两个集群HDFS的参数“hadoop.rpc.protection”需使用相同的数据传输方式。设置为“privacy”表示加密,“authentication”表示不加密。
对系统的影响 保存新的配置需要重启NodeManager角色实例,此时对应的角色实例不可用。 操作步骤 MRS 3.x之前的版本集群执行以下操作: 登录MRS控制台,选择“现有集群”,单击集群名称。选择“组件管理 > Yarn > 实例”。
对系统的影响 修改角色实例配置后,如果实例状态为“配置过期”,则需要重启此实例。重启时对应的实例不可用。 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后,需要重新下载并更新客户端配置文件。
hdfs dfs -chmod 1777 /user 为了系统文件的安全,建议用户将非临时目录进行安全加固,例如: /user:777 /mr-history:777 /mr-history/tmp:777 /mr-history/done:777 /user/mapred:755
配置描述 登录FusionInsight Manager系统。 详细操作请参考访问集群Manager。 选择“集群 > 服务 > Spark2x/Spark > 配置”,单击“全部配置”,搜索并调整以下参数。
配置参数 登录FusionInsight Manager系统。 详细操作请参考访问集群Manager。 选择“集群 > 服务 > Spark2x/Spark > 配置”,单击“全部配置”,搜索并调整以下参数。