检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户在“组件管理”页面修改任意组件的配置并重启服务后，连接impala-shell，会出现连接失败，报错no such file/directory。 原因分析 修改服务配置并重启服务后，部分服务的目录结构会删除并重新创建，如服务的etc目录等。如果重启服务前所在的目录为etc或者其子目录，
Spark连接Kafka认证错误 问题现象 MRS 2.1.0版本集群中Spark消费kafka数据，过一天以后就会出现认证失败的报错： 原因分析 集群版本和运行的程序包版本不匹配。 处理步骤 参考运行Spark Streaming 对接Kafka0-10样例程序进行相关配置。 当前集群为MRS
使用ZooKeeper 使用ZooKeeper客户端 配置ZooKeeper ZNode ACL ZooKeeper常用配置参数 ZooKeeper日志介绍 ZooKeeper常见问题
使用DBService DBService日志介绍
使用Loader 从零开始使用Loader Loader使用简介 Loader常用参数 创建Loader角色 Loader连接配置说明 管理Loader连接（MRS 3.x之前版本） 管理Loader连接（MRS 3.x及之后版本） Loader作业源连接配置说明 Loader作业目的连接配置说明
使用ClickHouse ClickHouse引擎概述 ClickHouse用户权限管理 ClickHouse客户端使用实践 ClickHouse数据迁移同步 ClickHouse企业级能力增强 ClickHouse性能调优 ClickHouse运维管理 ClickHouse常用SQL语法
如何查看Kudu日志？ 登录集群的Master节点。 执行su - omm命令，切换到omm用户。 执行cd /var/log/Bigdata/kudu/命令，进入到“/var/log/Bigdata/kudu/”目录，即可查看Kudu日志信息。 父主题： 组件配置类
apache.hadoop.hive.serde2.SMS4Rewriter） Hive开源增强特性：支持HBase删除功能 由于底层存储系统的原因，Hive并不能支持对单条表数据进行删除操作，但在Hive on HBase功能中，MRS解决方案中的Hive提供了对HBase表的
Hue开源增强特性 Hue开源增强特性 存储策略定义。HDFS文件存储在多种等级的存储介质中，有不同的副本数。本特性可以手工设置HDFS目录的存储策略，或者根据HDSF文件最近访问时间和最近修改时间，自动调整文件存储策略、修改文件副本数、移动文件所在目录、自动删除文件，以便充分利用存储的性能和容量。
Flink CEP in SQL增强 SQL中的Flink CEP CloudStream扩展为允许用户在SQL中表示CEP查询结果以用于模式匹配，并在Flink引擎上对事件流进行评估。 SQL查询语法 通过MATCH_RECOGNIZE的SQL语法实现。MATCH_RECOGNIZE子句自Oracle
x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS管理控制台。 单击“并行文件系统”进入并行文件系统页面。 在OBS控制台并行文件系统列表中，单击已新建的文件系统名称进入详情页面。 在左侧导航栏选择“文件 > 新建文件夹”新建“testFlumeOutput”文件夹。
盘I/O操作。 需将该参数值设置为“true”。 图1 新增自定义参数 单击“保存配置”保存配置。 单击“服务状态”页签，选择“更多 > 重启服务”重启Mapreduce服务。 业务侧提交OBS作业并运行成功，则表示MapReduce对接OBS成功。例如，创建一个Hive表并指定Location为OBS路径：
设置好Java环境变量。 编译并运行程序 导出jar包。 进入IntelliJ IDEA，选择“File > Project Structure > Artifacts”。 单击“加号”，选择“JAR > from modules with dependencies”。 “Main
参考配置Guardian服务不启用Ranger OBS路径鉴权或配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS后，即可在Hive客户端创建存储在OBS并行文件系统中的表。 前提条件 如果参考配置Guardian服务启用Ranger OBS路
由于Flink作业是On Yarn运行，在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。 OBS并行文件系统名称/文件名称：OBS文件路径需写至目录层级。 如果参考配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS
throws Exception { if (row.isNull(0) || row.isNull(1)) { return; } collector.putLong(row.getTime(), row.getLong(0) + row.getLong(1));
算资源+专属存储资源。 主机安全 MRS支持与公有云安全服务集成，支持漏洞扫描、安全防护、应用防火墙、堡垒机、网页防篡改等。针对操作系统和端口部分，华为云提供如下安全措施： 操作系统内核安全加固 操作系统权限控制 操作系统端口管理 应用安全 通过如下措施保证大数据业务正常运行： 身份鉴别和认证
作业管理 MRS作业管理为用户提供向集群提交作业的入口，支持包括MapReduce、Spark、HQL和SparkSQL等类型的作业。 结合华为云数据治理中心DataArts Studio，提供一站式的大数据协同开发环境、全托管的大数据调度能力，帮助用户快速构建大数据处理中心。 通过数据治理中心DataArts
MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍
为192.168.1.18。 在遇到诸如下述类问题时，需要查看审计日志： 如客户端发起请求，但是未得到响应。由于不确定任务是卡在客户端还是服务端，可以通过审计日志查看。如果审计日志根本没有相关信息，那么说明任务终止在客户端；如果审计日志有相关信息打印，那么就需要去运行日志里进一步定位原因。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
