检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Spark对接OBS文件系统。如果集群不存在Spark组件请跳过该步骤。 在FusionInsight Manager界面，选择“集群 > 服务 > Spark > 配置 > 全部配置”。
选择“系统 > 权限 > 角色”。 单击“添加角色”，配置如下参数创建一个角色，详情请参见创建角色。 填写角色的名称，例如mrrole。
选择“系统 > 用户”界面，选择clickhouseuser用户，选择“更多 > 下载认证凭据”。 首次认证，需要先修改初始密码后再下载认证凭据文件，否则会导致安全认证失败。
对系统的影响 启用集群间复制功能需要重启Yarn，服务重启期间无法访问。 前提条件 两个集群HDFS的参数“hadoop.rpc.protection”需使用相同的数据传输方式。设置为“privacy”表示加密，“authentication”表示不加密。
true --skip-ro-suffix 注册时跳过读取_ro后缀的读优化视图 N false --use-file-listing-from-metadata 从Hudi的元数据中获取文件列表 N false --verify-metadata-file-listing 根据文件系统验证
数据源为文件系统，该参数才有效。用户如果需增量导入数据建议设置该参数。 例如设置为“.txt”，源文件为“test-loader.csv”，则导出后源文件名为“test-loader.csv.txt”。
查看作业健康度 在作业管理页面查看当前作业的健康状态： 空：作业未运行，无健康状态 绿色图标：健康 黄色图标：亚健康 红色图标：不健康 导出所有作业健康报告 单击“作业健康报告”，系统会自动将所有作业的健康状态信息导出至本地，包括作业名称，健康度，提交用户，告警信息，配置信息和启动时间等
不建议频繁的数据delete修改，将要删除的数据攒批，偶尔进行批量删除，且需要带上条件，提升系统稳定性和删除效率。 大量数据排序（5亿以上）后返回部分数据，建议先减少数据范围再执行排序，否则大量排序会影响性能。
默认取值： 不涉及 effective_days Array of strings 参数解释： 资源计划的生效日期，为空时代表每日，另外也可为以下返回值： MONDAY（周一）、TUESDAY（周二）、WEDNESDAY（周三）、THURSDAY（周四）、FRIDAY（周五）、SATURDAY
系统默认为String类型的列做字典编码，但是如果字典值过多，会导致字典转换操作增加造成性能下降。 一般情况下，列的数值复杂度高于5万，可以被认定为高复杂度，则需要排除掉字典编码，该参数为可选参数。 说明： 在非字典列中，只支持String和Timestamp数据类型。
对系统的影响 修改磁盘选择策略为“节点磁盘可用空间块放置策略（org.apache.hadoop.hdfs.server.blockmanagement.AvailableSpaceBlockPlacementPolicy）”，经过测试验证，在该测试结果中，修改前后，HDFS写文件性能影响范围在
表的列与关系型数据库表的列进行匹配（可忽略） "qubit.sql.column.mapping" = "id=name", -- 关系型数据库用户 "qubit.sql.dbcp.username" = "test", -- 关系型数据库密码，命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的
配置参数 登录FusionInsight Manager系统，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。
选择一个Windows系统的公共镜像。 其他配置参数详细信息，请参见自定义购买弹性云服务器。 方法二：使用本机访问MRS集群操作Impala，在安装开发环境后并完成以下步骤后再运行样例代码。
一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 图1表示区域和可用区之间的关系。 图1 区域和可用区 目前，华为云已在全球多个地域开放云服务，您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 如何选择区域？
当位于同一JVM进程中的客户端对无法访问的NameNode进行连接时，会对系统造成负担。为了避免这种负担，MRS集群搭载了NameNode blacklist功能。
配置参数 登录FusionInsight Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。
对系统的影响 修改磁盘选择策略为“节点磁盘可用空间块放置策略（org.apache.hadoop.hdfs.server.blockmanagement.AvailableSpaceBlockPlacementPolicy）”，经过测试验证，在该测试结果中，修改前后，HDFS写文件性能影响范围在
集群ID 集群的唯一标识，创建集群时系统自动赋值，不需要用户设置。 创建时间 显示集群创建的时间。 订单号 显示创建集群的订单号。该参数仅在“付费类型”为“包年/包月”时显示。 可用区 集群工作区域下的可用区，创建集群时设置。 默认生效子网 子网信息，创建集群时所选。
设置定期自动健康检查： 单击“系统设置”，单击“维护”下方的“健康检查”，单击“健康检查配置”。 配置“健康检查报告文件最大份数”，该值必须是整数，取值范围1～100。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
