检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录FusionInsight Manager页面，选择“系统 > 权限 > 用户”，添加人机用户sparkuser，用户组（hadoop、hive），主组（hadoop）。 进入客户端目录，加载环境变量并认证用户： cd /客户端安装目录 source .
可以使用HDFS服务的系统用户hdfs。或者在集群上创建一个具有supergroup权限的用户，再在客户端中执行此命令。 表3只说明了命令接口的含义及使用方法，实际每个接口提供了更多的配置参数。
它能够让您快速深入了解大数据，并让您在Hadoop生态系统中更好地开展工作。 方案架构 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。
文件可存储于HDFS或者OBS中，不同的文件系统对应的路径存在差异。 OBS：以“s3a://”开头。 HDFS：以“/”开头。 如果该路径不存在，系统会自动创建。 约束限制： 不涉及 取值范围： 最多为1023字符，不能包含;|&>'<$特殊字符，可为空。
Streaming任务打印两次相同DAG日志 问题 在使用Spark Streaming时，使用以下命令运行程序： spark-submit -master yarn-client --conf spark.logLineage=true --jars $SPARK_HOME/jars
HBase应用开发建议 不要调用Admin的closeRegion方法关闭一个Region Admin中，提供了关闭一个Region的接口： public void closeRegion(final String regionname, final String serverName
OpenTSDB样例程序开发思路 通过典型场景，您可以快速学习和掌握OpenTSDB的开发过程，并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序，用于记录和查询城市的气象信息，记录数据如下表表1，表2和表3所示。 表1 原始数据 城市 区域 时间 温度 湿度 Shenzhen
创建Hive表 功能介绍 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式。 自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。 内部表，如果对数据的处理都由Hive完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除。 外部表
当scale_type为缩容且server_ids为空时，按照系统规则自动选择删除Task节点。 取值范围： 不涉及 默认取值： 不涉及 instances 是 Integer 参数解释： 扩容或缩容的节点数。
禁止将文件绝对路径发送到客户端： 说明：文件绝对路径发送到客户端会暴露服务端的目录结构信息，有助于攻击者遍历了解系统，为攻击者攻击提供帮助。 安全加固：Flink配置文件中所有配置项中如果包含以/开头的，则删掉第一级目录。 同源策略： 适用于MRS 3.x及之后版本。
说明： 该文件可在Manager界面选择“系统 > 权限 > 用户”，在待操作用户后选择“更多 > 下载用户凭证”获取。
添加组件自定义参数对系统的影响 配置服务属性后，如果服务状态为“配置过期”，则需要重启此服务，重启期间无法访问服务。 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后，需要重新下载并安装客户端，或者下载配置文件刷新客户端。
MRS 3.1.5.0.3 及之后的补丁版本中diskmgt服务会检测EVS磁盘(受diskmgt服务监控的磁盘)容量是否增加，如果有增加将则会进行该磁盘下分区(单个分区独占磁盘容量)容量和文件系统的扩容，达到自动扩充磁盘分区存储容量的能力。
用户通过HetuEngine客户端对配置了数据脱敏策略的表执行select操作，系统将对数据进行处理后进行展示。 父主题： Ranger权限策略配置示例
使用Oozie调度Spark2x访问HBase以及Hive 前提条件 已经配置完成导入并配置Oozie样例工程的前提条件。 开发环境配置 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“oozienormal-examples
使用Oozie调度Spark访问HBase以及Hive 前提条件 已经配置完成导入并配置Oozie样例工程的前提条件 开发环境配置 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples\oozienormal-examples”目录下的样例工程文件夹中
MRS 2.1.0.8补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.8 发布时间 2020-08-04 解决的问题 MRS 2.1.0.8 修复问题列表： MRS Manager 解决委托访问OBS，ECS接口限流问题 MRS Manager支持多人登录
登录FusionInsight Manager页面，选择“系统 > 权限 > 用户”，添加人机用户sparkuser，用户组（hadoop、hive），主组（hadoop）。 进入客户端目录，加载环境变量并认证用户： cd /客户端安装目录 source .
禁止将文件绝对路径发送到客户端： 说明：文件绝对路径发送到客户端会暴露服务端的目录结构信息，有助于攻击者遍历了解系统，为攻击者攻击提供帮助。 安全加固：Flink配置文件中所有配置项中如果包含以/开头的，则删掉第一级目录。
用户通过Hive客户端对配置了数据脱敏策略的表执行select操作，系统将对数据进行处理后进行展示。 处理数据需要用户同时具有向Yarn队列提交任务的权限。 父主题： Ranger权限策略配置示例
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
