检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
-p命令确认当前操作系统架构。
前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。
前提条件 确保本地环境的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件,详情请参考准备连接Kafka集群配置文件。
Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS存储数据丢失,HDFS可能会进入安全模式,无法提供写服务。丢失的块数据无法恢复。 可能原因 DataNode实例异常。 数据被删除。 处理步骤 检查DataNode实例。
使用Grafana对接IoTDB数据库 应用场景 IoTDB(物联网数据库)是一体化收集、存储、管理与分析物联网时序数据的软件系统。
查看作业日志时提示“ERROR 500”错误 问题背景与现象 在MRS上提交的SparkStreaming流式作业执行一段时间后,查看Yarn WebUI页面全量日志报“HTTP ERROR 500 org.apache.http.ConnectionCloseException: Premature
前提条件 确保本地环境的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件,详情请参考准备连接Kafka集群配置文件。
图1 导入样例工程流程 前提条件 确保本地环境的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。
图1 导入样例工程流程 前提条件 确保本地环境的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。
前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。 如果作业程序需要读取以及分析OBS文件系统中的数据,需要先配置MRS集群的存算分离,请参考配置MRS集群存算分离。
在IDEA主页面,选择“File > Project Structures...”进入“Project Structure”页面。 在“Project Structure”页面,选择“Artifacts”,单击“+”并选择“JAR > Empty”。
前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件,详情请参考准备连接HBase集群配置文件。
upTimeUser.print(); // 6.Streaming系统启动 jssc.start(); jssc.awaitTermination(); } Spark Streaming Write
图18 Add Scala Support 当系统无法识别出Scala SDK时,需要自行创建。 单击“Create...”。 图19 Create... 在“Select JAR's for the new Scala SDK”页面单击“Browse...”。
图18 Add Scala Support 当系统无法识别出Scala SDK时,需要自行创建。 单击“Create...”。 图19 Create... 在“Select JAR's for the new Scala SDK”页面单击“Browse...”。
SecurityKafkaWordCount { public static void main(String[] args) throws Exception { JavaStreamingContext ssc = createContext(args); //启动Streaming系统
SecurityKafkaWordCount { public static void main(String[] args) throws Exception { JavaStreamingContext ssc = createContext(args); //启动Streaming系统
图2 跨源IT/OT数据统一分析 使用场景如下: 统一SQL入口 为简化应用系统对接多系统的复杂性,可在HetuEngine添加IoTDB作为数据源,通过HetuEngine的SQL语法查询IoTDB中的数据。
Structured Streaming,详见Structured Streaming原理。 小文件优化。 聚合算法优化。 Datasource表优化。 合并CBO优化。 父主题: Spark2x
本端域可以在Manager界面,选择“系统 > 域与互信 > 本端域 ”中查看。