检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark2x Spark2x jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的spark包运行样例代码,但是不同版本的spark-core包在使用的时候可能互相序列化ID
在Linux中调测Impala JDBC应用 在运行调测环境上创建一个目录作为运行目录,如“/opt/impala_examples”,并在该目录下创建子目录“conf”。 执行mvn package,在样例工程target目录下获取jar包,比如: impala-examples-mrs
云服务器操作系统及版本建议如下: 表3 操作系统参考列表 CPU架构 操作系统 支持的版本号 x86计算 Euler EulerOS 2.5 SUSE SUSE Linux Enterprise Server 12 SP4(SUSE 12.4) Red Hat Red Hat-7.5
COMPACT 'MAJOR'; ALTER TABLE ProductDatabase COMPACT 'SEGMENT_INDEX'; ALTER TABLE ProductDatabase COMPACT 'CUSTOM' WHERE SEGMENT.ID IN (0, 1); 系统响应
- Proctime 指系统时间,与数据本身的时间戳无关,即在Flink算子内计算完成的时间。 “类型”选择“Source”时存在此参数。 - Event Time 指事件产生的时间,即数据产生时自带时间戳。 “类型”选择“Source”时存在此参数。
动态资源调度就是为了解决这种场景,根据当前应用任务的负载情况,实时地增减Executor个数,从而实现动态分配资源,使整个Spark系统更加健康。
数据湖:其他IT系统上的数据,时序数据库可以通过跨源分析能力与数据湖中的全量数据进行关联,与IT数据进行进一步的复杂分析。 HetuEngine:跨源分析引擎,可以连接多个大数据组件进行数据查询,并可以将多个大数据组件中的数据在HetuEngine中进行统一分析。
当前系统只支持部署在x86节点的ClickHouse集群对接HDFS,部署在ARM节点的ClickHouse集群不支持对接HDFS。 操作步骤 以客户端安装用户,登录客户端所在节点。 执行以下命令切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。
操作步骤 在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1 下载认证凭据 配置Flume角色客户端参数。
登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
系统中不保留文件与LocatorId的映射关系,只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时,系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
系统中不保留文件与LocatorId的映射关系,只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时,系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
系统中不保留文件与LocatorId的映射关系,只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时,系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
场景说明 场景说明 用户自定义JDBCServer的客户端,使用JDBC连接来进行数据表的创建、数据加载、查询和删除。 数据规划 确保以HA模式启动了JDBCServer服务,并至少有一个实例对外服务。在hdfs上创建"/home/data"目录,新增包含如下内容的文件并上传到hdfs
调测Hive Python3样例程序 Python3样例工程的命令行形式运行 赋予“python3-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令: chmod +x python3-examples -R。 将“python3-examples/pyCLI_nosec.py
hdfs dfs -chmod 1777 /user 为了系统文件的安全,建议用户将非临时目录进行安全加固,例如: /user:777 /mr-history:777 /mr-history/tmp:777 /mr-history/done:777 /user/mapred:755
查看作业健康度 在作业管理页面查看当前作业的健康状态: 空:作业未运行,无健康状态 绿色图标:健康 黄色图标:亚健康 红色图标:不健康 导出所有作业健康报告 单击“作业健康报告”,系统会自动将所有作业的健康状态信息导出至本地,包括作业名称,健康度,提交用户,告警信息,配置信息和启动时间等
配置参数 登录FusionInsight Manager系统。 详细操作请参考访问集群Manager。 选择“集群 > 服务 > Spark2x/Spark > 配置”,单击“全部配置”,搜索并调整以下参数。
true --skip-ro-suffix 注册时跳过读取_ro后缀的读优化视图 N false --use-file-listing-from-metadata 从Hudi的元数据中获取文件列表 N false --verify-metadata-file-listing 根据文件系统验证
对系统的影响 集群获取不到最新的临时AK/SK信息,在存算分离场景下,可能导致访问OBS文件失败,引起上层组件业务无法正常处理数据。 可能原因 MRS集群meta角色状态异常。 MRS集群绑定过IAM委托且访问过OBS,后续委托被解绑,导致当前集群未绑定委托。