检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS 3.x及之后版本：需要在FusionInsight Manager系统进行配置。 参数配置组合决定了每节点任务(map、reduce)的并发数。 如果所有的任务（map/reduce）需要读写数据至磁盘，多个进程将会同时访问一个磁盘。这将会导致磁盘的IO性能非常低下。
登录FusionInsight Manager系统，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
将场景说明中的原日志文件放置在HDFS系统中。 本地新建两个文本文件，分别将log1.txt及log2.txt中的内容复制保存到input_data1.txt和input_data2.txt。
注意：需要保证“堆内存+直接内存 <= 80% * 系统可用内存”， 否则会导致IoTDB启动失败。 查询场景调优举例：如果查询的范围比较大，单个序列10000个点以上，JVM分配内存的20% / 序列数 > 160K，即为默认配置下存储引擎对查询最友好的状态。
登录FusionInsight Manager系统，具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称，主)”打开“Loader WebUI”界面。
Execution特性后，Spark SQL能自动处理数据倾斜场景，对倾斜的分区，启动多个task进行处理，每个task读取若干个shuffle输出文件，再对这部分任务的Join结果进行Union操作，以达到消除数据倾斜的效果 配置参数 登录FusionInsight Manager系统
登录FusionInsight Manager系统，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
登录FusionInsight Manager系统，具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称，主)”打开“Loader WebUI”界面。
登录FusionInsight Manager系统，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
登录FusionInsight Manager系统，具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称，主)”打开“Loader WebUI”界面。
如果每次对文件系统操作都获取此实例，会创建过多HDFS链接，消耗HDFS资源。
/user.keytab" principal="sparkuser@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 使用--files和相对路径提交keytab文件，这样才能保证keytab文件被加载到executor
对系统的影响 配置高可用、高性能的影响： 配置高可用、高性能模式后，数据可靠性会降低。在磁盘故障、节点故障等场景下存在数据丢失风险。 配置高可靠性的影响： 性能降低： 在生产数据时，配置了高可靠参数ack=-1之后，需要多个副本均写入成功之后才认为是写入成功。
解决Spark jobhistory内存泄漏问题 解决Spark jobhistory偶现无法显示application列表问题 MRS 1.9.0.3 修复问题列表： MRS Manager MRS Manager升级ARM JDK MRS Manager解决Core节点日志撑满系统盘问题
org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSysteMapReduceMStateStore：类似HDFS的基于Hadoop文件系统的state-store实现。
资源异常 ALM-12006 节点故障 ALM-12007 进程故障 ALM-12010 Manager主备节点间心跳中断 ALM-12011 Manager主备节点同步数据异常 ALM-12012 NTP服务异常 ALM-12014 设备分区丢失 ALM-12015 设备分区文件系统只读
登录FusionInsight Manager系统，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
对系统的影响 配置高可用、高性能的影响： 配置高可用、高性能模式后，数据可靠性会降低。在磁盘故障、节点故障等场景下存在数据丢失风险。 配置高可靠性的影响： 性能降低： 在生产数据时，配置了高可靠参数ack=-1之后，需要多个副本均写入成功之后才认为是写入成功。
登录FusionInsight Manager系统，具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称，主)”打开“Loader WebUI”界面。
如果每次对文件系统操作都获取此实例，会创建过多HDFS链接，消耗HDFS资源。 Colocation提供了文件同分布的功能，执行集群Balancer或Mover操作时，会移动数据块，使Colocation功能失效。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
