检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase应用开发建议 不要调用Admin的closeRegion方法关闭一个Region Admin中，提供了关闭一个Region的接口： public void closeRegion(final String regionname, final String serverName
禁止将文件绝对路径发送到客户端： 说明：文件绝对路径发送到客户端会暴露服务端的目录结构信息，有助于攻击者遍历了解系统，为攻击者攻击提供帮助。 安全加固：Flink配置文件中所有配置项中如果包含以/开头的，则删掉第一级目录。 同源策略： 适用于MRS 3.x及之后版本。
对系统的影响 配置服务属性后，如果服务状态为“配置过期”，则需要重启此服务，重启期间无法访问服务。 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后，需要重新下载并安装客户端，或者下载配置文件刷新客户端。
配置参数 登录FusionInsight Manager系统。 详细操作请参考访问集群Manager。 选择“集群 > 服务 > Spark2x/Spark > 配置”，单击“全部配置”，搜索并调整以下参数。
说明： 该文件可在Manager界面选择“系统 > 权限 > 用户”，在待操作用户后选择“更多 > 下载用户凭证”获取。
用户通过HetuEngine客户端对配置了数据脱敏策略的表执行select操作，系统将对数据进行处理后进行展示。 父主题： Ranger权限策略配置示例
Streaming任务打印两次相同DAG日志 问题 在使用Spark Streaming时，使用以下命令运行程序： spark-submit -master yarn-client --conf spark.logLineage=true --jars $SPARK_HOME/jars
创建Impala表 功能简介 本小节介绍了如何使用Impala SQL建内部表、外部表的基本操作。创建表主要有以下三种方式。 自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。 内部表，如果对数据的处理都由Impala完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除
创建Impala表 功能简介 本小节介绍了如何使用Impala SQL建内部表、外部表的基本操作。创建表主要有以下三种方式。 自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。 内部表，如果对数据的处理都由Impala完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除
OpenTSDB样例程序开发思路 通过典型场景，您可以快速学习和掌握OpenTSDB的开发过程，并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序，用于记录和查询城市的气象信息，记录数据如下表表1，表2和表3所示。 表1 原始数据 城市 区域 时间 温度 湿度 Shenzhen
当scale_type为缩容且server_ids为空时，按照系统规则自动选择删除Task节点。 取值范围： 不涉及 默认取值： 不涉及 instances 是 Integer 参数解释： 扩容或缩容的节点数。
禁止将文件绝对路径发送到客户端： 说明：文件绝对路径发送到客户端会暴露服务端的目录结构信息，有助于攻击者遍历了解系统，为攻击者攻击提供帮助。 安全加固：Flink配置文件中所有配置项中如果包含以/开头的，则删掉第一级目录。
登录FusionInsight Manager页面，选择“系统 > 权限 > 用户”，添加人机用户sparkuser，用户组（hadoop、hive），主组（hadoop）。 进入客户端目录，加载环境变量并认证用户： cd /客户端安装目录 source .
它能够让您快速深入了解大数据，并让您在Hadoop生态系统中更好地开展工作。 方案架构 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。
创建Hive表 功能介绍 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式。 自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。 内部表，如果对数据的处理都由Hive完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除。 外部表
用户通过Hive客户端对配置了数据脱敏策略的表执行select操作，系统将对数据进行处理后进行展示。 处理数据需要用户同时具有向Yarn队列提交任务的权限。 父主题： Ranger权限策略配置示例
适用以下场景： 源数据在Broker可以访问的存储系统中，如HDFS。 数据量在几十到百GB级别。 支持导入CSV、Parquet、ORC格式的数据，默认支持导入CSV格式数据。 前提条件 已创建包含Doris服务的集群，集群内各服务运行正常。
命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。
对系统的影响 更改NodeManager角色的存储目录需要停止并重新启动集群，集群未启动前无法提供服务。 更改NodeManager单个实例的存储目录需要停止并重新启动实例，该节点NodeManager实例未启动前无法提供服务。
使用Oozie调度Spark2x访问HBase以及Hive 前提条件 已经配置完成导入并配置Oozie样例工程的前提条件。 开发环境配置 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“oozienormal-examples
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
