检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对系统的影响 无。 可能原因 Hive SQL语法有问题,导致Hive SQL执行失败。 处理步骤 查看运行失败的Hive SQL,修改为正确语法后再执行。 参考信息 无。 父主题: MRS集群告警处理参考
“jute.maxbuffer”只能设置为Java系统属性,且没有zookeeper前缀。如果要将“jute.maxbuffer”的值设为X,在ZooKeeper客户端或服务端启动时传入以下系统属性:-Djute.maxbuffer=X。
“jute.maxbuffer”只能设置为Java系统属性,且没有zookeeper前缀。如果要将“jute.maxbuffer”的值设为X,在ZooKeeper客户端或服务端启动时传入以下系统属性:-Djute.maxbuffer=X。
productNameIndexTable on table productdb.productSalesTable (productName,city) as 'carbondata' ; SHOW INDEXES ON productdb.productSalesTable; 系统响应
注意事项 NA 示例 CREATE TABLE ctas_select_parquet STORED AS carbondata as select * from parquet_ctas_test; 系统响应 该命令会从Parquet表上创建一个Carbon表,同时导入所有Parquet
配置参数 参数入口: 在Manager系统中,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”。在搜索框中输入参数名称。
系统响应 操作成功或失败会在CarbonData日志中被记录。 父主题: DML
系统响应 操作成功或失败会在CarbonData日志中被记录。 父主题: CarbonData语法参考
column11 from sourceTable2); 示例4: delete from h0 where column1 IN (select column11 from sourceTable2 where column1 = 'xxx'); 示例5: delete from h0; 系统响应
cd/opt/hadoopclient kinit<用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input(hdfs dfs命令有同样的作用),创建对应目录。
@Override public void transform(Row row, PointCollector collector) throws Exception { if (row.isNull(0) || row.isNull(1)) { return
调用DELETE SEGMENT命令时,物理上而言,Segment并没有从文件系统中被删除。使用命令SHOW SEGMENTS查看Segment信息,可看见被删除的Segment的状态被标识为"Marked for Delete"。
通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控,以及重新执行已经失败的任务。
示例 // clean和archive按时间策略执行 call run_table_service(tables => 'tb1;tb2;tb3', cleanNums => 10, archiveNums => 12) 系统响应 可在客户端中查看结果。
告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 不涉及。 父主题: MRS集群告警处理参考
'aa'; insert into table carbon01 select 2,'b','bb'; insert into table carbon01 select 3,'c','cc'; SHOW SEGMENTS FOR TABLE carbon01 LIMIT 2; 系统响应
beeline -n 组件业务用户 不指定组件业务用户登录Hive客户端,则会以当前操作系统用户登录。
动态资源调度就是为了解决这种场景,根据当前应用任务的负载情况,实时的增减Executor个数,从而实现动态分配资源,使整个Spark系统更加健康。 可通过如下方法开启动态资源分配功能,其他相关配置可参考Yarn模式下动态资源调度。
beeline -n 组件业务用户 不指定组件业务用户登录Hive客户端,则会以当前操作系统用户登录。
本示例提供了基于C语言的HDFS文件系统连接、文件操作如创建文件、读写文件、追加文件、删除文件等。相关业务场景介绍请参见HDFS C API接口介绍。 父主题: HDFS开发指南(安全模式)