检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Repartition时有部分Partition没数据 问题 在repartition操作时，分块数“spark.sql.shuffle.partitions”设置为4500，repartition用到的key列中有超过4000个的不同key值。期望不同key对应的数据能分到不同
ume服务（Flume角色）的服务端和客户端参数，使其可以正常工作。 本章节适用于MRS 3.x及之后版本。 前提条件 已成功安装集群及Flume服务。 操作步骤 分别生成Flume角色服务端和客户端的证书和信任列表。 使用ECM远程以omm用户登录将要安装Flume服务端的节点
useKeyTab=true keyTab="/opt/test/conf/user.keytab" principal="flume_hdfs@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 其中keyTab和prin
DataNode的容量计算出错如何处理 问题 当多个data.dir被配置在一个磁盘分区内，DataNode的容量计算将会出错。 回答 目前容量计算是基于磁盘的，类似于Linux里面的df命令。理想状态下，用户不会在同一个磁盘内配置多个data.dir，否则所有的数据都将写入一个磁盘，在性能上会有很大的影响。
为什么存储小文件过程中，缓存中的数据会丢失 问题 在存储小文件过程中，系统断电，缓存中的数据丢失。 回答 由于断电，当写操作完成之后，缓存中的block不会立即被写入磁盘，如果要同步地将缓存的block写入磁盘，用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site
行建库、表脚本迁移、重建元数据操作时需要特别注意，防止错误。 操作步骤 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 若集群详情页面没有“组件管理”页
此功能适用于Hive。 此功能用于从服务端限定Hive任务的最大map数，避免HiveSever服务过载而引发的性能问题。 操作步骤 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。
ClickHouse Projection设计 Projection仅在MRS 3.2.0及以上的版本集群中支持。 projection定义 CREATE TABLE test_projection_table( level String, type String
DGC方式如何创建Flink Hive Sql作业 问题现象 使用DGC方式如何创建Flink Hive Sql作业。 解决方法 若通过DGC方式创建提交Flink Hive作业，以读Kafka写Hive作业为例，步骤如下： 提前在Hive客户端中创建Hive表。例如： create
any port in port range 32326-32390。 解决方法 MRS集群上服务众多，如果不限制端口范围可能导致其他服务端口被占用而导致异常，因此MRS集群给每个服务分配的端口范围是固定的，Flink端口范围是[32326-32390]。 当Flink作业单个t
登录FusionInsight Manager，选择“系统 > 权限 > 用户”，单击提交CDL任务用户所在行的“修改”，添加“kafkaadmin”用户组，单击“确定”。 使用该用户登录FusionInsight Manager界面，选择“集群 > 服务 > CDL”，单击“CDLService
CSV' < /data/bigdata/hive/student.csv 命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 父主题： ClickHouse常见问题
3.0及之后版本支持。 配置HBase分时Compaction吞吐量参数 登录FusionInsight Manager，选择“集群 > 服务 > HBase > 配置”，在搜索框中搜索表1中的参数，并根据业务实际情况修改参数值以启用HBase分时Compaction吞吐量功能，
FE的查询连接端口，可以通过登录Manager，单击“集群 > 服务 > Doris > 配置”，查询Doris服务的“query_port”参数获取。 Doris FE实例IP地址可通过登录MRS集群的Manager界面，单击“集群 > 服务 > Doris > 实例”，查看任一FE实例的IP地址。
ickHouse客户端访问连接ClickHouse服务端，默认的用户名为“default”。 该操作指导ClickHouse集群创建成功后，设置ClickHouse的用户名密码。 “default”为ClickHouse默认系统用户，仅普通模式（未开启kerberos认证）下可使用的ClickHouse管理员用户。
配置隔离时，考虑可用性，建议组件最少配置两个MetaStore实例。 前提条件 集群已安装Hive服务，且服务运行正常。 操作步骤 登录FusionInsight Manager页面，选择“集群 > 服务 > Hive > 配置 > 全部配置”，搜索配置项“HIVE_METASTORE_URI”。
问。或者Broker所在节点只具有内网IP，外部服务通过网闸机映射访问内网。 ZooKeeper服务正常。 Kafka实例状态和磁盘状态均正常。 操作步骤 登录FusionInsight Manager界面。 选择“集群 > 服务 > Kafka > 实例 > Broker > 实例配置
示操作后，等待配置保存成功。 Spark服务端配置更新后，如果“配置状态”为“配置过期”，则需重启组件以使配置生效。 图1 修改Spark配置 在Spark服务概览页面，选择“更多 > 重启服务/滚动重启服务”，验证管理员密码后，等待服务重启成功。 如果使用Spark客户端提交任务，修改了集群的参数“spark
使用Spark小文件合并工具说明 工具介绍 在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因
合规性的同时，灵活管理旧数据，避免数据丢失或存储空间浪费。 操作步骤 登录FusionInsight Manager页面，选择“集群 > 服务 > Hive > 配置 > 全部配置”。 选择“HiveServer（角色） > 自定义”，在参数文件“hive-site.xml”中添加自定义参数，设置“名称”为“hive
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
