检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cd/opt/hadoopclient kinit<用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input(hdfs dfs命令有同样的作用),创建对应目录。
登录FusionInsight Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Kafka > 更多 > 下载客户端” ,下载客户端压缩文件到本地机器。
obs-connector 表1 obs-connector数据源连接属性 参数 说明 桶名 保存源数据的OBS文件系统。 源目录或文件 源数据实际存储的形态,可能是文件系统包含一个目录中的全部数据文件,或者是文件系统包含的单个数据文件。
对系统的影响 无。 可能原因 提交的YARN作业程序有问题,例如: spark提交任务参数错误导致。 处理步骤 查看运行失败的作业日志,找到作业失败的具体原因,然后修改并重新提交作业。 参考信息 无。 父主题: MRS集群告警处理参考
'aa'; insert into table carbon01 select 2,'b','bb'; insert into table carbon01 select 3,'c','cc'; SHOW SEGMENTS FOR TABLE carbon01 LIMIT 2; 系统响应
beeline -n 组件业务用户 不指定组件业务用户登录Hive客户端,则会以当前操作系统用户登录。
'aa'; insert into table carbon01 select 2,'b','bb'; insert into table carbon01 select 3,'c','cc'; SHOW SEGMENTS FOR TABLE carbon01 LIMIT 2; 系统响应
beeline -n 组件业务用户 不指定组件业务用户登录Hive客户端,则会以当前操作系统用户登录。
动态资源调度就是为了解决这种场景,根据当前应用任务的负载情况,实时地增减Executor个数,从而实现动态分配资源,使整个Spark系统更加健康。 可通过如下方法开启动态资源分配功能,其他相关配置可参考Yarn模式下动态资源调度。
productNameIndexTable on table productdb.productSalesTable (productName,city) as 'carbondata' ; SHOW INDEXES ON productdb.productSalesTable; 系统响应
注意事项 NA 示例 CREATE TABLE ctas_select_parquet STORED AS carbondata as select * from parquet_ctas_test; 系统响应 该命令会从Parquet表上创建一个Carbon表,同时导入所有Parquet
该机制在异常情况下具有显著优势,例如当备用的NameNode连接长时间不响应时,系统会将另一个NameNode切换为活动状态时,缓存的详细信息将被更新为当前活动的NameNode的信息。 约束与限制 本章节适用于MRS 3.x及后续版本。
该机制在异常情况下具有显著优势,例如当备用的NameNode连接长时间不响应时,系统会将另一个NameNode切换为活动状态时,缓存的详细信息将被更新为当前活动的NameNode的信息。 约束与限制 本章节适用于MRS 3.x及后续版本。
调用DELETE SEGMENT命令时,物理上而言,Segment并没有从文件系统中被删除。使用命令SHOW SEGMENTS查看Segment信息,可看见被删除的Segment的状态被标识为"Marked for Delete"。
通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控,以及重新执行已经失败的任务。
通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控,以及重新执行已经失败的任务。
@Override public void transform(Row row, PointCollector collector) throws Exception { if (row.isNull(0) || row.isNull(1)) { return
操作步骤 登录FusionInsight Manager 页面,选择“系统 > 权限 > 用户”,在待操作用户的“操作”栏下选择“更多 > 下载认证凭据”,选择集群信息后单击“确定”,下载keytab文件。
操作步骤 登录FusionInsight Manager 页面,选择“系统 > 权限 > 用户”,在待操作用户的“操作”栏下选择“更多 > 下载认证凭据”,选择集群信息后单击“确定”,下载keytab文件。
通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控,以及重新执行已经失败的任务。 MapReduce主要特点如下: 大规模并行计算 适用于大型数据集 高容错性和高可靠性 合理的资源调度 父主题: MapReduce应用开发概述