检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录FusionInsight Manager,选择“系统 > 权限 > 用户”,单击提交CDL任务用户所在行的“修改”,添加“kafkaadmin”用户组,单击“确定”。 使用该用户登录FusionInsight Manager界面,选择“集群 > 服务 > CDL”,单击“CDLService
CSV' < /data/bigdata/hive/student.csv 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 父主题: ClickHouse常见问题
3.0及之后版本支持。 配置HBase分时Compaction吞吐量参数 登录FusionInsight Manager,选择“集群 > 服务 > HBase > 配置”,在搜索框中搜索表1中的参数,并根据业务实际情况修改参数值以启用HBase分时Compaction吞吐量功能,
FE的查询连接端口,可以通过登录Manager,单击“集群 > 服务 > Doris > 配置”,查询Doris服务的“query_port”参数获取。 Doris FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE实例的IP地址。
ickHouse客户端访问连接ClickHouse服务端,默认的用户名为“default”。 该操作指导ClickHouse集群创建成功后,设置ClickHouse的用户名密码。 “default”为ClickHouse默认系统用户,仅普通模式(未开启kerberos认证)下可使用的ClickHouse管理员用户。
配置隔离时,考虑可用性,建议组件最少配置两个MetaStore实例。 前提条件 集群已安装Hive服务,且服务运行正常。 操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置”,搜索配置项“HIVE_METASTORE_URI”。
问。或者Broker所在节点只具有内网IP,外部服务通过网闸机映射访问内网。 ZooKeeper服务正常。 Kafka实例状态和磁盘状态均正常。 操作步骤 登录FusionInsight Manager界面。 选择“集群 > 服务 > Kafka > 实例 > Broker > 实例配置
示操作后,等待配置保存成功。 Spark服务端配置更新后,如果“配置状态”为“配置过期”,则需重启组件以使配置生效。 图1 修改Spark配置 在Spark服务概览页面,选择“更多 > 重启服务/滚动重启服务”,验证管理员密码后,等待服务重启成功。 如果使用Spark客户端提交任务,修改了集群的参数“spark
使用Spark小文件合并工具说明 工具介绍 在Hadoop大规模生产集群中,由于HDFS的元数据都保存在NameNode的内存中,集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件,会消耗NameNode大量内存,还会大幅降低读写性能,延长作业运行时间。因
合规性的同时,灵活管理旧数据,避免数据丢失或存储空间浪费。 操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。 选择“HiveServer(角色) > 自定义”,在参数文件“hive-site.xml”中添加自定义参数,设置“名称”为“hive
字符串大小写转换 概述 “字符串大小写转换”算子,用于配置已生成的字段通过大小写变换,转换出新的字段。 输入与输出 输入:需要转换大小写的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换后的字段 配置字符串大小写转换的字段相关信息:
为什么存储小文件过程中,缓存中的数据会丢失 问题 在存储小文件过程中,系统断电,缓存中的数据丢失。 回答 由于断电,当写操作完成之后,缓存中的block不会立即被写入磁盘,如果要同步地将缓存的block写入磁盘,用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site
SHOW CREATE MATERIALIZED VIEW 语法 SHOW CREATE MATERIALIZED VIEW materialized_view_name 描述 显示用于创建物化视图的SQL语句。 示例 显示创建物化视图的SQL语句。 hetuengine:tpcds_2gb>
Data masking函数 数据脱敏(Data masking) 指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。 mask_first_n(string str[, int n]) →varchar 描述:返回str的屏蔽版本,前n个值被屏蔽。大写字母
useKeyTab=true keyTab="/opt/test/conf/user.keytab" principal="flume_hdfs@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 其中keyTab和prin
来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 Memory Usage Exceeds The Threshold 产生告警的计算实例租户名和当前超过阈值的大小。 对系统的影响 HetuEngine计
是否可自动清除 45435 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 表名 产生告警的库名.表名 对系统的影响 ClickHouse业务中若存在元数据不一致的表,则后续针对该表的insert、alter等操作可能执行失败。
配置Kafka数据传输加密 在集群Manager管理界面中,选择“集群 > 服务 > 服务名 > 配置”,展开“全部配置”页签,在搜索框中输入参数名称,修改配置参数后需要重启对应服务以使配置生效。 表1 Kafka服务端传输加密参数 配置项 描述 默认值 ssl.mode.enable true:启用Kafka
Agent状态进行监控,当Flume Agent进程故障时,系统产生此告警。 当检测到Flume Agent进程故障恢复,且告警处理完成时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 24001 一般 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 ZooKeeper可用内存不足,可能会造成内存溢出导致服务崩溃,可能导致上游组