检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
systemctl restart rngd.service 检查系统熵值。 手动检查操作系统熵值。 以root用户登录节点,执行命令,检查操作系统熵值是否满足集群的安装要求(不低于100)。
图2 Quick Start 在下拉框中选择“Structure for New Projects”。 图3 Configure 在弹出的“Project Structure for New Projects”页面中,选择“SDKs”,单击加号添加JDK。
Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask (state
Flink使用pipeline.operator-chaining定位问题 问题现象 Flink运行过程中会将算子进行串联形成一个task来降低网络等开销,但是在遇到背压、数据不准确等情况时,因为多个算子串联在一起,无法快速定位是哪个算子有问题。 解决方法 通过将“pipeline.operator-chaining
Flink使用pipeline.operator-chaining定位问题 问题现象 Flink运行过程中会将算子进行串联形成一个task来降低网络等开销,但是在遇到背压、数据不准确等情况时,因为多个算子串联在一起,无法快速定位是哪个算子有问题。 解决方法 通过将“pipeline.operator-chaining
基于Kafka的Word Count数据流统计案例 应用场景 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性,主要用于处理活跃的流式数据。
Spark Streaming企业级能力增强 配置Spark Streaming对接Kafka时数据后进先出功能 配置Spark Streaming对接Kafka可靠性 配置Structured Streaming使用RocksDB做状态存储 父主题: 使用Spark/Spark2x
ClickHouse系统表日志过大时如何添加定期删除策略? 问题现象 客户使用ClickHouse,系统表产生的日志过大,一次性删除会耗费较长时间,客户可以添加定期删除策略,即添加TTL。
create timeseries root.company.line1.device2.power WITH DATATYPE=FLOAT, ENCODING=RLE; create timeseries root.company.line2.device1.temperature
举例如下: select i_item_id item_id, sum(sr_return_quantity) sr_item_qty from store_returns, item, date_dim where sr_item_sk
举例如下: select i_item_id item_id, sum(sr_return_quantity) sr_item_qty from store_returns, item, date_dim where sr_item_sk
spark-shell执行SQL跨文件系统load数据到Hive表失败 用户问题 使用spark-shell命令执行SQL或者spark-submit提交的Spark任务里面有SQL的load命令,并且原数据和目标表存储位置不是同一套文件系统,上述两种方式MapReduce任务启动时会报错
程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase Spark Streaming对接kafka0-10程序 Structured
oozieClient.getJobInfo(jobId))); } /** * Get job.properties File in filePath * * @param filePath file path * @return
图2 Configure 在“Project Defaults”页面中,选择“Project Structure”。 图3 Project Defaults 在打开的“Project Structure”页面中,选择“SDKs”,单击绿色加号添加JDK。
ImmutableList.of(new SubQuery("city.temp", "sum"), new SubQuery("city.hum", "sum")); query.delete = true; Gson gson = new Gson(); return
oozieClient.getJobInfo(jobId))); } /** * Get job.properties File in filePath * * @param filePath file path * @return
"); return; } if (null == args[1]) { log.error("args[0] should be a number for maxReads
当用户提交Backup请求后,系统内部会做如下操作: 快照及快照上传 备份都是对快照进行操作,快照阶段会对指定的表或分区数据文件进行快照。快照只是对当前数据文件产生一个硬链,耗时较少。快照后,对表进行的更改、导入等操作都不再影响备份的结果。
ALM-12015 设备分区文件系统只读 告警解释 系统按60秒周期进行扫描,如果检测到挂载服务目录的设备分区变为只读模式(如设备有坏扇区、文件系统存在故障等原因),则触发此告警。