检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Flume Flume日志采集概述 Flume业务模型配置说明 安装Flume客户端 快速使用Flume采集节点日志 配置Flume非加密传输数据采集任务 配置Flume加密传输数据采集任务 Flume企业级能力增强 Flume运维管理 Flume常见问题
使用KafkaManager KafkaManager介绍 访问KafkaManager的WebUI 管理Kafka集群 Kafka集群监控管理
使用Alluxio 配置底层存储系统 通过数据应用访问Alluxio Alluxio常用操作
使用Flume Flume日志采集概述 Flume业务模型配置说明 安装Flume客户端 快速使用Flume采集节点日志 配置Flume非加密传输数据采集任务 配置Flume加密传输数据采集任务 Flume企业级能力增强 Flume运维管理 Flume常见问题
使用Loader Loader数据导入导出概述 Loader用户权限管理 上传MySQL数据库连接驱动 创建Loader数据导入作业 创建Loader数据导出作业 管理Loader作业 Loader运维管理 Loader算子帮助 客户端工具说明 Loader常见问题
使用ClickHouse ClickHouse概述 ClickHouse用户权限管理 使用ClickHouse客户端 ClickHouse表创建 ClickHouse数据导入 ClickHouse企业级能力增强 ClickHouse性能调优 ClickHouse运维管理 ClickHouse常用SQL语法
权限策略和授权项 策略及授权项说明
可用区 查询可用区信息 父主题: API V1.1
e性能下降以至于导致HBase拒绝服务。通过配置参数来限制客户端连接到HBase服务器端的session数目,来实现HBase过载保护。 HBase开源增强特性:容灾增强 主备集群之间的容灾能力可以增强HBase数据的高可用性,主集群提供数据服务,备用集群提供数据备份,当主集群出
Hive CBO原理介绍 Hive CBO原理介绍 CBO,全称是Cost Based Optimization,即基于代价的优化器。 其优化目标是: 在编译阶段,根据查询语句中涉及到的表和查询条件,计算出产生中间结果少的高效join顺序,从而减少查询时间和资源消耗。 Hive中实现CBO的总体过程如下:
Kafka开源增强特性 Kafka开源增强特性 支持监控如下Topic级别的指标: Topic输入的字节流量 Topic输出的字节流量 Topic拒绝的字节流量 Topic每秒失败的fetch请求数 Topic每秒失败的Produce请求数 Topic每秒输入的消息条数 Topic每秒的fetch请求数
业。这种调度机制把调度的周期同心跳结合在一起,当集群规模增大时,会遇到系统扩展性以及调度性能瓶颈。另外,因为采用了资源反向匹配作业的调度机制,开源调度器在调度精度上也有局限性,例如数据亲和性偏于随机,另外系统也无法支持基于负载的调度策略等。主要原因是调度器在选择作业时,缺乏全局的资源视图,很难做到好的选择。
并设置好Java环境变量。 编译并运行程序 导出jar包 进入IntelliJ IDEA,选择“File > Project Structure > Artifacts”。 单击“加号”,选择“JAR > From modules with dependencies”。 “Main
throws Exception { if (row.isNull(0) || row.isNull(1)) { return; } collector.putLong(row.getTime(), row.getLong(0) + row.getLong(1));
数据迁移方案介绍 准备工作 元数据导出 数据复制 数据恢复 父主题: 数据迁移
原因分析 客户配置了DNS服务,由于客户端连接到HBase先通过DNS来解析服务器端,所以导致响应慢。 处理步骤 以root用户登录Master节点。 执行vi /etc/resolv.conf,打开resolv.conf文件,注释掉DNS服务器地址。 例如,#1.1.1.1。
用户在“组件管理”页面修改任意组件的配置并重启服务后,连接impala-shell,会出现连接失败,报错no such file/directory。 原因分析 修改服务配置并重启服务后,部分服务的目录结构会删除并重新创建,如服务的etc目录等。如果重启服务前所在的目录为etc或者其子目录,
Spark连接Kafka认证错误 问题现象 MRS 2.1.0版本集群中Spark消费kafka数据,过一天以后就会出现认证失败的报错: 原因分析 集群版本和运行的程序包版本不匹配。 处理步骤 参考运行Spark Streaming 对接Kafka0-10样例程序进行相关配置。 当前集群为MRS
使用ZooKeeper 使用ZooKeeper客户端 配置ZooKeeper ZNode ACL ZooKeeper常用配置参数 ZooKeeper日志介绍 ZooKeeper常见问题
使用DBService DBService日志介绍