检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群是否支持切换操作系统? 问: MRS集群是否支持切换操作系统? 答: MRS集群节点不支持切换操作系统。 父主题: 节点管理类
利用Hadoop HDFS作为其文件存储系统。HBase位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持。除了HBase产生的一些日志文件,HBase中的所有数据文件都可以存储在Hadoop HDFS文件系统上。 HDFS和MapReduce的关系
例行维护周期 任务场景 例行维护内容 每天 检查集群服务状态 检查每个服务的运行状态和配置状态是否正常,是否为绿色。 检查每个服务中,角色实例的运行状态和配置状态是否正常,是否为绿色。 检查每个服务中,角色实例的主备状态是否可以正常显示。 检查服务与角色实例的“概览”显示结果是否正常。 检查集群主机状态
参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 提示用户证书文件即将过期,如果证书文件过期,则会导致部分功能受限,无法正常使用。 可能原因 系统证书文件(CA证书、HA根证书或者HA用户证书)剩余有效期小于证书的告警阈值。
log能否清理? MRS集群磁盘如何分区的? MRS集群是否支持重装系统? MRS集群是否支持切换操作系统?
配置Spark Streaming对接Kafka时数据后进先出功能 配置Spark Streaming对接Kafka可靠性 配置Structured Streaming使用RocksDB做状态存储 父主题: 使用Spark/Spark2x
rtifacts信息。 在IDEA主页面,选择“File > Project Structures...”进入“Project Structure”页面。 在“Project Structure”页面,选择“Artifacts”,单击“+”并选择“JAR > Empty”。 图1
经过定位发现,导致这个问题的原因是:Spark Streaming的计算核数少于Receiver的个数,导致部分Receiver启动以后,系统已经没有资源去运行计算任务,导致第一个任务一直在等待,后续任务一直在排队。从现象上看,就是如问题中的图1中所示,会有两个任务一直在等待。
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 SparkSQL UDF功能的权限控制机制
DEST_PATH); return; } LOG.info("success to delete path " + DEST_PATH); } /** * * @param filePath * @return * @throws java.io
Defaults > Project Structure”。 图2 Configure 在弹出的“Project Structure for New Projects”页面中,选择“SDKs”,单击加号添加JDK。 图3 Project Structure for New Projects 在弹出的“Select
操作步骤 参考获取MRS应用开发样例工程,下载样例工程到本地。 将安装Flink客户端章节中下载的客户端安装包复制到Windows服务器中。 将Windows服务器中的“MRS_Flink_Client.tar”文件解压缩得到“MRS_Flink_ClientConfig.tar”,再
且设置delete参数为true。函数genQueryReq()生成删除请求,函数deleteData()把删除请求发送到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata.opentsdb.examples包的"OpentsdbExample"类的deleteData方法中。
ClickHouse系统表日志过大,如何添加定期删除策略? 问题现象 客户使用ClickHouse,系统表产生的日志过大,一次性删除会耗费较长时间,客户可以添加定期删除策略,即添加TTL。 处理步骤 MRS 3.3.0及之后版本,在Manager页面,选择“集群 > 服务 > ClickHouse>
修改该参数后,若没有及时重启KrbServer服务和其关联的所有服务,会导致集群内部KrbClient的配置参数异常,影响业务运行。 修改该参数后,请重启KrbServer服务和其关联的所有服务。 修改Manager系统域名 若没有及时重启KrbServer服务和其关联的所有服务,会导致集群内部KrbC
DEST_PATH); return; } LOG.info("success to create path " + DEST_PATH); } /** * create file path * * @param filePath * @return * @throws
MRS集群是否支持重装系统? 问: MRS集群是否支持重装系统? 答: MRS集群不支持重装系统。 父主题: 节点管理类
待操作集群的名称 > 服务 > Yarn > ResourceManager(主)”,进入ResourceManager的WebUI页面。 单击“Scheduler”,在“Application Queues”中查看root队列是否资源用满。 是,执行3。 否,执行4。 对Yarn服务的Nod
S -Dfastjson.parser.safeMode=true" 使用omm用户在主OMS节点执行如下命令重启Manager Web 服务。 $OMS_RUN_PATH/workspace/ha/module/harm/plugin/script/tomcat stop $O
配置描述 进入Mapreduce服务参数“全部配置”界面,具体操作请参考修改集群服务配置参数章节。 在搜索框中输入参数名称,修改并保存配置。然后在Mapreduce服务“概览”页面选择“更多 > 同步配置”。同步完成后重启Mapreduce服务。 作业日志参数: 表1 参数说明