检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名称。 对系统的影响 集群获取不到最新的临时AK/SK,存算分离场景下,可能导致访问OBS失败,引起组件业务无法正常处理。 可能原因 MRS集群meta角色状态异常。
弹性云服务器的网卡需要与MRS集群在同一个网段中。 申请弹性IP,并与新申请的ECS绑定,并配置安全组出入规则。 下载客户端程序。 登录MRS Manager系统。 选择“服务管理 > 下载客户端 ”,下载“完整客户端”到“远端主机”上,即下载客户端程序到新申请的弹性云服务器上。 登录存放下载的客户端的节点,再安装客户端。
A远程调试业务? 回答 以调试WordCount程序为例,演示如何进行IDEA的远程调试: 登录FusionInsight Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Storm”,选择“配置”选项卡,在搜索框中搜索并调大nimbus.task.timeout
将log1.txt和log2.txt放置在指定路径下,例如"/opt/log1.txt"和"/opt/log2.txt"。 数据文件若存放在本地文件系统,需在所有部署Yarn NodeManager的节点指定目录放置,并设置运行用户访问权限。 或将数据文件放置于HDFS,并指定程序中读取文
lib chown omm:wheel jar包文件名 chmod 600 jar包文件名 登录FusionInsight Manager系统,选择“集群 > 服务 > Loader > 更多 > 重启服务”,输入管理员密码重启Loader服务。 需要提前在MOTService中
每个DataNode节点的数据量应大于(平均使用率-阈值)*平均数据量,小于(平均使用率+阈值)*平均数据量。若实际数据量小于最小值或大于最大值即存在不平衡,系统选择所有DataNode节点中偏差最多的数据量作为迁移的总数据量。 Balancer的迁移是按迭代(iteration)方式串行顺序处理的
每个DataNode节点的数据量应大于(平均使用率-阈值)*平均数据量,小于(平均使用率+阈值)*平均数据量。若实际数据量小于最小值或大于最大值即存在不平衡,系统选择所有DataNode节点中偏差最多的数据量作为迁移的总数据量。 Balancer的迁移是按迭代(iteration)方式串行顺序处理的
待创建的MRS集群版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 MRS 3.2.0-LTS.1 组件选择 基于系统预置的集群模板选择要购买的集群组件。 Hadoop分析集群 可用区 选择集群工作区域下关联的可用区。 可用区1 虚拟私有云 选择需要创建集
p_conf__/jaas-zk.conf -Dzookeeper.server.principal=zookeeper/hadoop.<系统域名> -Djava.security.krb5.conf=./__spark_conf__/__hadoop_conf__/kdc.conf
p_conf__/jaas-zk.conf -Dzookeeper.server.principal=zookeeper/hadoop.<系统域名> -Djava.security.krb5.conf=./__spark_conf__/__hadoop_conf__/kdc.conf
plica而言的,可以理解为是一种纵向切分。 MergeTree ClickHouse拥有非常庞大的表引擎体系,MergeTree作为家族系统最基础的表引擎,提供了数据分区、一级索引和二级索引等功能。在创建表的时候需要指定表引擎,不同的表引擎会决定一张数据表的最终“性格”,比如数
A远程调试业务? 回答 以调试WordCount程序为例,演示如何进行IDEA的远程调试: 登录FusionInsight Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Storm”,选择“配置”选项卡,在搜索框中搜索并调大nimbus.task.timeout
CSV文件的列分隔符,用于分隔每行的数据。 string 是 , 换行符 用户根据数据实际情况,填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 string 否 \n 文件名是否作为字段 自定义一个字段,以当前数据所在的文件名作为该字段值。 string 否 无 绝对路径
dynamic.partition.mode=nonstrict; 动态分区可能导致一个DML语句创建大量的分区,对应创建大量新文件夹,对系统性能可能带来影响。 在文件数量大的情况下,执行一个SQL语句启动时间较长,可以在执行SQL语句之前执行“set mapreduce.input
行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 对系统的影响 集群执行同步配置后,需要重启配置过期的服务,重启时对应的服务不可用。 重启配置过期的实例时,该实例不可用。 通过管理控制台同步集群配置
将log1.txt和log2.txt放置在指定路径下,例如"/opt/log1.txt"和"/opt/log2.txt"。 数据文件若存放在本地文件系统,需在所有部署Yarn NodeManager的节点指定目录放置,并设置运行用户访问权限。 若将数据文件放置于HDFS,需指定程序中读取文
name text, value text); 配置“HBase输入”算子,生成三个字段A、B和C: 设置了数据连接器后,可以单击“自动识别”,系统将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。 此操作会覆盖表格内已有数据。
请求占大多数,因此从NameNode支持读可以降低主NameNode的负载,提高集群处理能力。 本章节适用于MRS 3.x及后续版本。 对系统的影响 配置从NameNode支持读可以降低主NameNode的负载,提高HDFS集群的处理能力,尤其是在大集群下效果明显。 配置从Nam
overwrite table h_p1 select 2 as id, 'a2', '2021-01-03' as dt, '19' as hh; 系统响应 可在driver日志中查看命令运行成功或失败。 父主题: Hudi DML语法说明
ent”。 准备集群配置文件 集群创建成功后,登录FusionInsight Manager创建用于提交Flink作业的集群用户。 选择“系统 > 权限 > 用户 > 添加用户”,在新增用户界面创建一个人机用户,例如sparkuser。 “用户组”需加入“supergroup”用