检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MEM”参数设置内存。 示例 在执行spark wordcount计算中。1.6T数据,250个executor。 在默认参数下执行失败,出现Futures timed out和OOM错误。 因为数据量大,task数多,而wordcount每个task都比较小,完成速度快。当task数多时
hours_allowed属性:配置是否根据系统时间执行策略评估。 hours_allowed的值是以逗号分隔的数字,范围从0到23,表示系统时间。 示例:<policy name ="policy1" hours_allowed ="2-6,13-14"> 如果当前系统时间在配置的范围内,则继续评估。否则,将跳过评估。
MRS当前支持主机规格的配型由CPU+内存+Disk共同决定。 弹性云服务器由多个租户共享物理资源,而裸金属服务器的资源归用户独享。对于关键类应用或性能要求较高的业务(如大数据集群、企业中间件系统),并且要求安全可靠的运行环境,使用裸金属服务器更合适。 当使用BMS类型的规格时,不支持升级Master节点规格。
手动续费 包年/包月MRS从购买到被自动删除之前,您可以随时在MRS控制台为集群续费,以延长集群的使用时间。 在MRS管理控制台续费 登录MRS管理控制台。 在现有集群列表中单击需要续费的集群所在行的“操作”列的“续费”即可进行续费。 统一包年/包月资源的到期日 如果您持有多个到
单击“Apply”后单击“OK”。 在IntelliJ IDEA的菜单栏中,选择“File > Project Structure...”,弹出“Project Structure”窗口。 选择“SDKs”,单击加号选择“JDK”。 图3 新增JDK 在弹出的“Select Home Directory
不能提交Hive相关作业 请检查是否存在Hive服务以及Hive服务是否正常 400 0169 Flink jobs cannot be submitted. 不能提交Flink作业 请检查是否存在Flink服务以及Flink服务是否正常 400 0170 Failed to collect
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 DirName 产生告警的挂载目录名。 PartitionName 产生告警的设备分区名。 对系统的影响 造成服务数据无法写入,业务系统运行不正常。 可能原因 硬盘被拔出。
MapReduce与其他组件的关系 MapReduce和HDFS的关系 HDFS是Hadoop分布式文件系统,具有高容错和高吞吐量的特性,可以部署在价格低廉的硬件上,存储应用程序的数据,适合有超大数据集的应用程序。 MapReduce是一种编程模型,用于大数据集(大于1TB)的并
阈值(默认60)时,系统产生此告警。 当系统检测到客户端连接数减少到阈值以下时,告警将自动解除。 告警属性 告警ID 告警级别 是否自动清除 29006 重要 是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称
MapReduce任务提交时会将相关配置文件、jar包和-files参数后添加的文件都上传至HDFS的临时目录,方便Container启动后获取相应的文件。系统通过配置项“yarn.app.mapreduce.am.staging-dir”决定具体存放位置,默认值是“/tmp/hadoop-yarn/staging”。
MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题: 组件介绍
用户A如何查看用户B创建的Hive表? 如何避免Kerberos认证过期? 已创建的MRS集群如何修改Kerberos状态? Kerberos认证服务的端口有哪些?
“SFTP”:表示备份文件通过SFTP协议保存在服务器中。 选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写备份数据的服务器IP地址。 “端口号”:填写SFTP协议连接备份服务器使用的端口号,默认值为“22”。
er创建的用户),也可以通过登录MRS集群节点后使用命令进行解锁。 如果服务出现异常状态,有可能是系统内部用户被锁定,需及时解锁,否则会影响集群正常运行。系统内部用户列表请参见MRS集群用户账号一览表。系统内部用户无法使用Manager解锁。 解锁Manager内创建的用户 MRS
义阈值(默认150)时,系统产生此告警。 当系统检测到的数量减少到阈值以下时,告警将自动解除。 告警属性 告警ID 告警级别 是否自动清除 29011 重要 是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称
当HBase服务的老年代GC时间小于或等于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 19007 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响
Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。
Flume每隔一个小时,检查当前系统中的证书文件是否已过期。如果服务端证书已过期,产生该告警。服务的证书文件恢复到有效期内,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24012 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。
/usr/local/bin/easy_install future-0.18.2-py3.8.egg 输出以下关键内容表示安装egg文件成功。 Finished processing dependencies for future==0.18.2 父主题: 准备Spark应用开发环境
Editors > Hive”。 在“Databases”选择一个Hive中的数据库,默认数据库为“default”。 系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。 单击指定的表名,可以显示表中所有的列。 在HiveQL语句编辑区输入HiveQL语句。