检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用HDFS HDFS文件系统目录简介 HDFS用户权限管理 HDFS客户端使用实践 快速使用Hadoop 配置HDFS文件回收站机制 配置HDFS DataNode数据均衡 配置HDFS DiskBalancer磁盘均衡 配置HDFS Mover命令迁移数据 配置HDFS文件目录标签策略(NodeLabel)
Flume基本原理 Flume是一个高可用、高可靠,分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接收方(可定制)的能力。其中Flume-NG是Flume的一个分支,其特点
[localhost:21000] > use udfs; [localhost:21000] > create function my_lower(string) returns string location '/user/hive/udfs/hive.jar' symbol='org.apache.hadoop
面自动锁定。 Manager关键特性:自动健康检查与巡检 Manager为用户提供界面化的系统运行环境自动检查服务,帮助用户实现一键式系统运行健康度巡检和审计,保障系统的正常运行,降低系统运维成本。用户查看检查结果后,还可导出检查报告用于存档及问题分析。 Manager关键特性:租户管理
nfo.py: def contains(str, substr): if substr in str: return True return False if __name__ == "__main__": if len(sys.argv) < 2:
使用Alluxio 配置底层存储系统 通过数据应用访问Alluxio Alluxio常用操作
OpenTSDB由时间序列守护进程(TSD)和一组命令行实用程序组成。与OpenTSDB的交互主要通过运行一个或多个TSD来实现。每个TSD都是独立的。没有主服务器,没有共享状态,因此您可以根据需要运行任意数量的TSD来处理您向其投入的任何负载。每个TSD使用CloudTable集群中的HBase来
配置ClickHouse对接OpenLDAP认证系统 ClickHouse支持和OpenLDAP进行对接,通过在ClickHouse上添加OpenLDAP服务器配置和创建用户,实现账号和权限的统一集中管理和权限控制等操作。此方案适合从OpenLDAP服务器中批量向ClickHouse中导入用户。
来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 omm用户过期,Manager各节点互信不可用,无法对服务提供管理功能。 可能原因 omm用户过期。 处理步骤 检查系统中omm用户是否过期。
参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 omm密码过期,Manager各节点互信不可用,无法对服务提供管理功能,crontab计划任务无法执行,影响ClickHouse业务。
完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS各类各项云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这
括Hadoop、Spark等大数据组件。当前标准的云上大数据集群不能满足所有用户需求,例如如下几种场景: 通用的操作系统配置不能满足实际数据处理需求,例如需调大系统最大连接数。 需要安装自身业务所需的软件工具或运行环境,例如需安装Gradle、业务需要依赖R语言包。 根据自身业务
配置Sqoop通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成Sqoop客户端对接OBS文件系统的配置后,可在Sqoop客户端导入关系型数据库的表到OBS中,或导出OBS中的表到关系型数据库中。 前提条件 需在MySQL官网https://downloads
nux的服务器上。 图1 HA HDFS结构 图1中各模块的功能说明如表1所示。 表1 模块说明 名称 描述 NameNode 用于管理文件系统的命名空间、目录结构、元数据信息以及提供备份机制等,分为: Active NameNode:管理文件系统的命名空间、维护文件系统的目录结
开启Kerberos认证的MRS集群提交Flink作业报错 通过Hive beeline命令行执行插入命令的时候报错 MRS集群节点如何进行操作系统漏洞升级 使用CDM服务迁移数据至MRS HDFS时任务运行失败 MRS集群频繁产生节点间心跳中断告警 PMS进程占用内存高 Knox进程占用内存高 安全集群外的客户端访问HBase很慢
testFun(line: String, testArg: String): String = { testArg.split(…); return …; } } 错误示例: //定义对象。 object Test { // 定义全局变量,赋为空值(null);在main函
由Yarn的ResourceManager和ApplicationMaster组成。其中ResourceManager是一个全新的资源管理系统,而ApplicationMaster则负责MapReduce作业的数据切分、任务划分、资源申请和任务调度与容错等工作。此外,TezUI依
配置过滤掉分区表中路径不存在的分区 配置场景 当读取Hive分区表时,如果指定的分区路径在HDFS上不存在,则执行select查询时会报FileNotFoundException异常。此时可以通过配置“spark.sql.hive.verifyPartitionPath”参数来过
的依赖包,如何使用IDEA添加到工程中? 回答 在IDEA主页面,选择“File > Project Structures...”进入“Project Structure”页面。 选择“Libraries”页签,然后在如下页面,单击“+”,添加本地的依赖包。 图1 添加依赖包 单
table.getSchema(); // Scan with a predicate on the 'key' column, returning the 'value' and "added" columns. List<String> projectColumns = new