检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置参数 参数入口： 在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，在搜索框中输入参数名称。
配置描述 登录FusionInsight Manager系统。 详细操作请参考访问集群Manager。 选择“集群 > 服务 > Spark2x/Spark > 配置”，单击“全部配置”，搜索并调整以下参数。
自动续费的到期前7日自动扣款属于系统默认配置，您也可以根据需要修改此扣款日，如到期前6日、到期前5日等。 本章节主要介绍如何开通包年/包月MRS集群的自动续费功能，更多自动续费相关操作请参见自动续费。 前提条件 请确认包年/包月MRS集群还未到期。
HdfsBolt必选参数 RecordFormat format = new DelimitedRecordFormat() .withFieldDelimiter("|"); // 同步策略，每1000个tuple对文件系统进行一次同步
命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 父主题： 数据迁移方案介绍
图1 安全组架构 创建MRS集群时，用户可以选择系统自动创建安全组，也可以手动选择已有的安全组。MRS集群所在的安全组需要确保当前用户所在的IP地址范围允许访问TCP 9022端口，以确保用户可以正常访问集群的Manager管理界面。
图2 ZooKeeper与YARN的关系 在系统启动时，ResourceManager会尝试把选举信息写入ZooKeeper，第一个成功写入ZooKeeper的ResourceManager被选举为Active ResourceManager，另一个为Standby ResourceManager
规划存储大量文件的HDFS系统容量，就是规划NameNode的容量规格和DataNode的容量规格，并根据容量设置参数。 容量规格 以下相关参数可以参考修改集群服务配置参数进入HDFS服务全部配置页面，搜索对应参数查看。
Kerberos服务的renewable、forwardable开关和票据刷新周期的设置在Kerberos服务的配置页面的“系统”标签下，票据刷新周期的修改可以根据实际情况修改“kdc_renew_lifetime”和“kdc_max_renewable_life”的值。
配置Spark对接OBS文件系统。如果集群不存在Spark组件请跳过该步骤。 在FusionInsight Manager界面，选择“集群 > 服务 > Spark > 配置 > 全部配置”。
saveAsTextFile(path, compressionCodecClass) 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。
saveAsTextFile(path, compressionCodecClass) 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。
配置参数 登录FusionInsight Manager系统，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。
系统默认为String类型的列做字典编码，但是如果字典值过多，会导致字典转换操作增加造成性能下降。 一般情况下，列的数值复杂度高于5万，可以被认定为高复杂度，则需要排除掉字典编码，该参数为可选参数。 说明： 在非字典列中，只支持String和Timestamp数据类型。
表的列与关系型数据库表的列进行匹配（可忽略） "qubit.sql.column.mapping" = "id=name", -- 关系型数据库用户 "qubit.sql.dbcp.username" = "test", -- 关系型数据库密码，命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的
对系统的影响 修改磁盘选择策略为“节点磁盘可用空间块放置策略（org.apache.hadoop.hdfs.server.blockmanagement.AvailableSpaceBlockPlacementPolicy）”，经过测试验证，在该测试结果中，修改前后，HDFS写文件性能影响范围在
集群ID 集群的唯一标识，创建集群时系统自动赋值，不需要用户设置。 创建时间 显示集群创建的时间。 订单号 显示创建集群的订单号。该参数仅在“付费类型”为“包年/包月”时显示。 可用区 集群工作区域下的可用区，创建集群时设置。 默认生效子网 子网信息，创建集群时所选。
创建表： create table test(name string) location "obs://OBS并行文件系统名称/user/hive/warehouse/数据库名/表名"; 表创建成功后，可执行以下命令查看表的Location： desc formatted test
创建表： create table test(name string) location "obs://OBS并行文件系统名称/user/hive/warehouse/数据库名/表名"; 表创建成功后，可执行以下命令查看表的Location： desc formatted test
动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减Executor个数，从而实现动态分配资源，使整个Spark系统更加健康。 操作步骤 需要先配置External shuffle service。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
