检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可靠性更高。 单AZ存储:数据仅存储在单个可用区(AZ),成本更低。 单AZ存储 文件系统名称 文件系统的名称,需全局唯一,不能与已有的任何文件系统名称重复。 mrs-hive 策略 文件系统的读写权限控制。 私有 归档数据直读 通过归档数据直读,您可以直接下载存储类别为归档存储的对象,而无需提前恢复。
业务作业类型Hive SQL、Spark SQL、Spark Python等,是否需要使用MRS的第三方包,参考MRS应用开发样例。 调度系统,需要考虑调度系统对接MRS集群。 迁移后,业务割接允许中断时长,识别平台业务优先级。 识别在迁移过程中不能中断的业务、可短时中断的业务、整体业务迁移可接受的迁移时长,梳理业务迁移顺序。
在进行应用开发时,需要准备的本地开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,推荐Windows7以上版本。 运行环境:Windows或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下:
ALM-43012 JDBCServer进程直接内存使用超出阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测JDBCServer进程直接内存使用状态,当检测到JDBCServer进程直接内存使用率超出阈值(最大内存的90%)时产生该告警。 告警属性 告警ID 告警级别 可自动清除
描述 FATAL FATAL表示系统运行的致命错误信息。 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示系统及系统调试信息。 如果您需要修改日志级别,请执行如下操作:
才能运行Spark样例工程。 操作步骤 登录MRS Manager,请参考登录MRS Manager。 在MRS Manager界面选择“系统设置 > 角色管理 > 添加角色”。 填写角色的名称,例如sparkrole。 在“权限”表格中选择“HBase > HBase Scope
用于执行任务。 搜索作业 在“Job Browser”的“Username”或“Text”,输入指定的字符,系统会自动搜索包含此关键字的全部作业。 清空搜索框的内容,系统会重新显示所有作业。 查看作业详细信息 在“Job Browser”的作业列表,单击作业所在的行,可以打开作业详情。
Hudi在写入数据时会根据设置的存储路径、表名、分区结构等属性生成Hudi表。 Hudi表的数据文件,可以使用操作系统的文件系统存储,也可以使用HDFS这种分布式的文件系统存储。为了后续分析性能和数据的可靠性,一般使用HDFS进行存储。以HDFS存储来看,一个Hudi表的存储文件分为两类。
ALM-43010 JDBCServer进程堆内存使用超出阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测JDBCServer进程堆内存使用状态,当检测到JDBCServer进程堆内存使用率超出阈值(最大内存的90%)时产生该告警。 告警属性 告警ID 告警级别 可自动清除
ALM-43011 JDBCServer进程非堆内存使用超出阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测JDBCServer进程非堆内存使用状态,当检测到JDBCServer进程非堆内存使用率超出阈值(最大内存的90%)时产生该告警。 告警属性 告警ID 告警级别 可自动清除
Hudi在写入数据时会根据设置的存储路径、表名、分区结构等属性生成Hudi表。 Hudi表的数据文件,可以使用操作系统的文件系统存储,也可以使用HDFS这种分布式的文件系统存储。为了后续分析性能和数据的可靠性,一般使用HDFS进行存储。以HDFS存储来看,一个Hudi表的存储文件分为两类。
用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 “zookeeper/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写。例如“本端域”参数为“9427068F-6
表示目录或文件的属组。 权限 表示目录或文件的权限设置。 日期 表示目录或文件创建时间。 在搜索框输入关键字,系统会在当前目录自动搜索目录或文件。 清空搜索框的内容,系统会重新显示所有目录和文件。 执行动作 在“文件浏览器”界面,勾选一个或多个目录或文件。 单击“操作”,在弹出菜单选择一个操作。
当系统检测到连续失败的次数低于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 45445 重要 是 变更类型 变更版本 变更描述 变更原因 新增 3.3.1 首次增加 首次增加 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群或系统名称。 服务名
Manager系统,选择“集群 > 服务 > Kafka > 配置 > 全部配置”,搜索“allow.everyone.if.no.acl.found”配置,修改参数值为true,保存配置即可。 系统域名:可登录FusionInsight Manager,选择“系统 > 权限 >
创建OBS并行文件系统,用于存放Spark样例程序、样例数据、作业执行结果和日志。 登录华为云管理控制台。 在“服务列表”中,选择“存储 > 对象存储服务”。 单击“并行文件系统 > 创建并行文件系统”,创建一个名称为“obs-demo-analysis-hwt4”的文件系统。策略等参数保持默认值。
准备一个提交Flink作业的用户。 登录Manager,选择“系统 > 权限 > 角色”,单击“添加角色”,输入角色名称与描述。在“配置资源权限”的表格中选择“待操作集群的名称 > Flink”,勾选“FlinkServer管理操作权限”,单击“确定”,返回角色管理。 选择“系统 > 权限 > 用户”,单击“添
加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 在启用了安全服务的集群中执行如下操作,需要在数据库中具有UPDATE权
加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 在启用了安全服务的集群中执行如下操作,需要在数据库中具有UPDATE权
快速开发HBase应用 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点: 处理海量数据(TB或PB级别以上)。 具有高吞吐量。 在海量数据中实现高效的随机读取。