检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase Spark Streaming对接kafka0-10程序 Structured
ALM-12015 设备分区文件系统只读 告警解释 系统按60秒周期进行扫描,如果检测到挂载服务目录的设备分区变为只读模式(如设备有坏扇区、文件系统存在故障等原因),则触发此告警。
Finished processing dependencies for future==0.18.2 父主题: 准备Spark应用开发环境
在IDEA主页,选择“File > Project Structures...”进入“Project Structure”页面。 选择“Modules”,选中工程名称,然后右键选择“Add > Scala”。
Finished processing dependencies for future==0.18.2 父主题: 准备Spark应用开发环境
修改MRS集群系统用户密码 修改或重置MRS集群admin用户密码 修改MRS集群节点操作系统用户密码 修改MRS集群Kerberos管理员用户密码 修改MRS集群Manager用户密码 修改MRS集群LDAP普通用户密码 修改MRS集群LDAP管理账户密码 修改MRS集群组件运行用户密码
系统域名:可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 查看作业管理界面,作业状态为“运行中”。 参考管理Kafka Topic中的消息,查看Topic并向Kafka中写入数据。
columns // If returned columns not included in index table, will query back user table, // it's not the fast way to get data, suggest
columns // If returned columns not included in index table, will query back user table, // it's not the fast way to get data, suggest
Finished processing dependencies for future==0.18.2 父主题: 准备Spark应用开发环境
Finished processing dependencies for future==0.18.2 父主题: 准备Spark应用开发环境
答: MRS集群内用户绑定了多个队列时,系统在提交任务时会随机选择队列,建议合理设置用户的队列权限,最好一个用户只绑定一个队列。 如果客户必须绑定多个队列时,可通过配置全局用户策略指定某用户的默认提交队列。
表1 各组件样例工程汇总(2.x版本) 组件 样例工程位置 描述 Alluxio alluxio-examples 使用Alluxio通过公共接口连接到存储系统示例程序。可实现写文件、读文件等功能。
具体可登录集群FusionInsight Manager,单击“系统 > 权限 > 域和互信”,“本端域”参数值即为系统域名。在执行命令时改为小写。
Flink应用开发常用概念 DataStream 数据流,是指Flink系统处理的最小数据单元。该数据单元最初由外部系统导入,可以通过socket、Kafka和文件等形式导入,在Flink系统处理后,通过Socket、Kafka和文件等输出到外部系统,这是Flink的核心概念。
配置ClickHouse系统表的生命周期 操作场景 ClickHouse 默认未配置系统表的 TTL(Time To Live)机制,若长期使用且未手动设置过期策略,系统表中的历史数据将持续累积,可能导致磁盘空间被大量占用,甚至影响集群性能与存储可用性。
ThreadPoolExecutor.java:617) at java.lang.Thread.run(Thread.java:745) Error: Error while processing statement: FAILED: Execution Error, return
对接低版本的kudu(MRS 3.0.5)后,无法执行join,报错如下: Unable to open scanner for node with id '0' for Kudu table 'impala::xxx': Remote error: unsupported feature
配置MRS集群间互信 当不同的两个Manager系统下安全模式的集群需要互相访问对方的资源时,系统管理员可以设置互信的系统,使外部系统的用户可以在本系统中使用。 如果未配置跨集群互信,每个集群资源仅能被本集群用户访问。
当位于同一JVM进程中的客户端对无法访问的NameNode进行连接时,会对系统造成负担。