检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse表字段设计 规则 不允许用字符类型存放时间或日期类数据，尤其是需要对该日期字段进行运算或者比较的时候。 不允许用字符类型存放数值类型的数据，尤其是需要对该数值字段进行运算或者比较的时候。字符串的过滤效率相对于整型或者特定时间类型有下降。 建议 不建议表中存储过
FlinkSQL ClickHouse表开发规则 提前在ClickHouse中创建表 Flink作业在ClickHouse中找不到对应表会报错，所以需提前在ClickHouse中创建好对应的表。 Flink写ClickHouse不支持删除操作 由于不支持删除操作，Flink无法对
个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。 针对小文件很多的场景，DataSource在创建RDD时，先将Table中的split生成PartitionedFile，再将这些
Manager系统，选择“集群 > 待操作集群的名称 > 服务 > Loader > 更多 > 重启服务”，输入管理员密码重启Loader服务。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统，具体请参见访问FusionInsight
使用Ranger UserSync同步集群节点上的Unix操作系统用户 Ranger UserSync是Ranger中一个重要的组件，它支持将Unix系统用户或LDAP用户同步到Ranger WebUI中，目前MRS服务只支持同步Ranger UserSync进程所在节点上的Unix用户。
Hive支持的传统关系型数据库语法说明 概述 Hive支持如下传统关系型数据库语法： Grouping EXCEPT、INTERSECT Grouping 语法简介： 当Group by语句带with rollup/cube选项时，Grouping才有意义。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。
单击“节点管理”，在对应的ClickHouse节点组下，单击要扩容的节点名称，进入到“云硬盘”界面。 在对应的数据盘单击“扩容”，进入到扩容磁盘界面。 如果当前界面只能看到系统盘，没有数据盘则表示当前ClickHouse节点数据盘暂不支持通过该操作进行扩容。 在“新增容量(GB)”参数下修改需要增加的磁盘容量，修改完成后单击“下一步”。
扩容场景中，可以使用该工具将原节点上的部分数据迁移至新增节点上，从而达到扩容后的数据均衡。 前提条件 ClickHouse服务运行正常，Zookeeper服务运行正常，迁入、迁出节点的ClickHouseServer实例状态正常。 请确保迁入节点已有待迁移数据表，且确保该表是MergeTree系列引擎的分区表。
FORMAT CSV" > /opt/clickhouse/default_test.csv 将导出的csv数据文件上传至备份服务器。 恢复数据 将备份服务器上的备份数据文件上传到ClickHouse客户端所在目录。 例如，上传default_test.csv备份文件到：/opt/clickhouse目录下。
使用hcatalog方式同步数据，报错getHiveClient方法不存在 问题 使用hcatalog方式同步数据，报错getHiveClient方法不存在。 回答 将https://repo.huaweicloud.com/repository/maven/huaweiclou
快速恢复业务。 Zookeeper异常导致merge无法正常执行。 登录Manager页面，检查ZooKeeper是否存在服务不可用、ClickHouse服务在ZooKeeper的数量配额使用率超过阈值等相关告警，如果存在，请按照告警指导处理。 执行如下SQL排查是否存在副本同步队列任务积压：
Manager进程正常提供服务，在访问YARN的原生界面时异常。 此时建议修改实例的内存。 处理步骤 登录FusionInsight Manager，选择“集群 > 服务 > Yarn > 配置 > 全部配置 > ResourceManager > 系统”。将“GC_OPTS”参数根据实际情况调大。
在“实例”页面勾选Core节点所在的JobServer实例，选择“更多 > 删除实例”，删除Core节点上的JobServer实例。 查看JobGateway服务是否正常，在MRS控制台作业管理页签中，提交作业，查看作业功能是否正常。 父主题： 使用JobGateway
使用JDBC连接Impala执行查询后，Impalad的session连接长时间没提交查询，但连接没有自动断开。 回答 如果要永久生效，登录Manager界面，选择“集群 > 服务 > Impala > 配置 > 全部配置 > Impalad（角色） > 自定义”，在“impalad.customized.confi
S Kafka组件。 实时流处理引擎：从Kafka实时读取时序数据，并进行一些逻辑运算，将实时时序数据写入时序数据库中。 数据湖：其他IT系统上的数据，时序数据库可以通过跨源分析能力与数据湖中的全量数据进行关联，与IT数据进行进一步的复杂分析。 HetuEngine：跨源分析引擎
Doris集群的Manager界面，选择“集群 > 服务 > Doris > 实例”，查看任一FE实例的业务IP地址获取。 Doris FE实例IP地址可通过登录MRS Doris集群的Manager界面，选择“集群 > 服务 > Doris > 配置 > 全部配置”，搜索并查看“query_port”参数值获取。
式为“doris/hadoop.${系统域名转换为小写}@${系统域名}”，系统域名可登录Manager页面，选择“系统 > 权限 > 域和互信”，查看“本端域”参数获取。Hive与Doris非同集群部署时要使用Hive用户@Hive集群的系统域名，如hive/hadoop.hadoop
当CPU内核数很多时，如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口： 服务器端配置 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置 直接在客户端中修改相应的配置文件。 HDFS客户端配置文件路径
当启用NodeManager Restart时，NodeManager在本地保存当前节点上运行的Container信息，重启NodeManager服务后通过恢复此前保存的状态信息，会避免丢失在此节点上运行的Container进度。 配置ResourceManager Restart特性 登录FusionInsight
置保存成功。 Hive服务端配置更新后，如果“配置状态”为“配置过期”，则需重启组件以使配置生效。 图1 修改Hive配置 在Hive服务概览页面，选择“更多 > 重启服务/滚动重启服务”，验证管理员密码后，等待服务重启成功。 组件重启期间将无法对外提供服务，可能会影响集群的上层
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
