检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
户端。 使用指定组件业务用户登录Hive客户端。 beeline -n 组件业务用户 不指定组件业务用户登录Hive客户端，则会以当前操作系统用户登录。 beeline 执行以下命令关闭客户端日志： set hive.server2.logging.operation.enabled=false;
<outputPath> 此命令包含了设置参数和提交job的操作，其中<inputPath>指HDFS文件系统中input的路径，<outputPath>指HDFS文件系统中output的路径。 在执行yarn jar mapreduce-examples-1.0.jar com
SQL防御规则 创建具有Doris管理员权限的用户用于连接Doris服务。 使用admin用户登录FusionInsight Manager界面，选择“系统 > 权限 > 角色”，单击“添加角色”，配置以下参数并单击“确定”： 角色名称：输入角色名称，例如：dorisrole。 配置资源权限：
'obs://mrs-word001/table/'; 执行以下命令查看表是否存在： show tables; 执行exit;退出spark-sql命令行。 OBS文件系统打印大量日志可能导致读写性能受影响，可通过调整OBS客户端日志级别优化，日志调整方式如下： 切换至“conf”目录下： cd 客户端安装目
登录MRS集群的FusionInsight Manager界面，单击“集群 > 服务 > ZooKeeper > 配置 > 全部配置 > quorumpeer > 系统”，调整“GC_OPTS”参数：-Xmx最大内存数GB。 最大内存数参考值：master节点内存-16GB * 0.65 （保守估计值）
并行的方式来处理。框架会对map的输出先进行排序，然后把结果输入给reduce任务，最后返回给客户端。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的任务。 MapReduce主要特点如下： 大规模并行计算 适用于大型数据集 高容错性和高可靠性
集群的用户密码过期或遗忘后，也可使用管理员登录Manager初始化该用户的密码。 登录FusionInsight Manager。 选择“系统 > 权限 > 用户”。 在要初始化密码用户所在行，选择“更多 > 初始化密码”。在弹出窗口中输入当前登录的管理员用户密码确认身份，单击“
JDK，则需要对Beeline客户端进行改造，否则会造成连接hiveserver失败。 操作步骤 登录FusionInsight Manager 页面，选择“系统 > 权限 > 用户”，在待操作用户的“操作”栏下选择“更多 > 下载认证凭据”，选择集群信息后单击“确定”，下载keytab文件。 解压
实例使配置生效。 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值： com.huawei.mrs.MrsObsCredentialsProvider：通过MRS云服务委托获取凭证。
JDK，则需要对Beeline客户端进行改造，否则会造成连接HiveServer失败。 操作步骤 登录FusionInsight Manager 页面，选择“系统 > 权限 > 用户”，在待操作用户的“操作”栏下选择“更多 > 下载认证凭据”，选择集群信息后单击“确定”，下载keytab文件。 解压
MRS集群客户端来以命令行形式提交作业。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。 如果作业程序需要读取以及分析OBS文件系统中的数据，需要先配置MRS集群的存算分离，请参考配置MRS集群存算分离。 约束与限制 当IAM用户的用户组的所属策略从MRS
执行HQL语句 在“Database”右侧下拉列表选择一个Hive中的数据库，默认数据库为“default”。 系统将自动显示数据库中的所有表。可以输入表名关键字，系统会自动搜索包含此关键字的全部表。 单击指定的表名，可以显示表中所有的列。 光标移动到表或列所在的行，单击 可以查看详细信息。
息的管理、查询。 通过Flink作业处理OBS数据 本实践指导使用MRS集群内置的Flink WordCount作业程序，来分析OBS文件系统中保存的源数据，以统计源数据中的单词出现次数。 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，
本代码样例讲解顺序为： 设置属性 建立连接 创建库 创建表 插入数据 查询数据 删除表 开发思路 ClickHouse作为一款独立的DBMS系统，使用SQL语言就可以进行常见的操作。开发程序示例中，全部通过clickhouse-jdbc API接口来进行描述，开发流程主要分为以下几部分：
plica而言的，可以理解为是一种纵向切分。 MergeTree ClickHouse拥有非常庞大的表引擎体系，MergeTree作为家族系统最基础的表引擎，提供了数据分区、一级索引和二级索引等功能。在创建表的时候需要指定表引擎，不同的表引擎会决定一张数据表的最终“性格”，比如数
plica而言的，可以理解为是一种纵向切分。 MergeTree ClickHouse拥有非常庞大的表引擎体系，MergeTree作为家族系统最基础的表引擎，提供了数据分区、一级索引和二级索引等功能。在创建表的时候需要指定表引擎，不同的表引擎会决定一张数据表的最终“性格”，比如数
显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数，可以防止客户端访问结果显示乱码。 操作步骤 在Manager系统中，选择“集群 > 服务 > Yarn > 配置”，选择“全部配置”，在搜索框中输入参数名称“yarn.http.policy”。 安全模式下配置为“HTTPS_ONLY”。
useKeyTab=true keyTab="/opt/test/conf/user.keytab" principal="flume_hdfs@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 其中keyTab和prin
显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数，可以防止客户端访问结果显示乱码。 操作步骤 在Manager系统中，选择“集群 > 服务 > Yarn > 配置”，选择“全部配置”，在搜索框中输入参数名称“yarn.http.policy”。 安全模式下配置为“HTTPS_ONLY”。
进度 表示作业运行进度。 组 表示作业所属组。 开始 表示作业开始时间。 持续时间 表示作业运行使用的时间。 Id 表示作业的编号，由系统自动生成。 如果MRS集群安装了Spark组件，则默认会启动一个作业“Spark-JDBCServer”，用于执行任务。 父主题： 使用Hue提交Oozie作业
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
