检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark2x Spark2x jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能互相序列化ID
在Linux中调测Impala JDBC应用 在运行调测环境上创建一个目录作为运行目录，如“/opt/impala_examples”，并在该目录下创建子目录“conf”。 执行mvn package，在样例工程target目录下获取jar包，比如: impala-examples-mrs
云服务器操作系统及版本建议如下： 表3 操作系统参考列表 CPU架构 操作系统 支持的版本号 x86计算 Euler EulerOS 2.5 SUSE SUSE Linux Enterprise Server 12 SP4（SUSE 12.4） Red Hat Red Hat-7.5
COMPACT 'MAJOR'; ALTER TABLE ProductDatabase COMPACT 'SEGMENT_INDEX'; ALTER TABLE ProductDatabase COMPACT 'CUSTOM' WHERE SEGMENT.ID IN (0, 1); 系统响应
- Proctime 指系统时间，与数据本身的时间戳无关，即在Flink算子内计算完成的时间。 “类型”选择“Source”时存在此参数。 - Event Time 指事件产生的时间，即数据产生时自带时间戳。 “类型”选择“Source”时存在此参数。
动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时地增减Executor个数，从而实现动态分配资源，使整个Spark系统更加健康。
数据湖：其他IT系统上的数据，时序数据库可以通过跨源分析能力与数据湖中的全量数据进行关联，与IT数据进行进一步的复杂分析。 HetuEngine：跨源分析引擎，可以连接多个大数据组件进行数据查询，并可以将多个大数据组件中的数据在HetuEngine中进行统一分析。
当前系统只支持部署在x86节点的ClickHouse集群对接HDFS，部署在ARM节点的ClickHouse集群不支持对接HDFS。 操作步骤 以客户端安装用户，登录客户端所在节点。 执行以下命令切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。
操作步骤 在FusionInsight Manager管理界面，选择“系统 > 权限 > 用户”，选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1 下载认证凭据 配置Flume角色客户端参数。
登录FusionInsight Manager系统，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
系统中不保留文件与LocatorId的映射关系，只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时，系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
系统中不保留文件与LocatorId的映射关系，只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时，系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
系统中不保留文件与LocatorId的映射关系，只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时，系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
场景说明 场景说明 用户自定义JDBCServer的客户端，使用JDBC连接来进行数据表的创建、数据加载、查询和删除。 数据规划 确保以HA模式启动了JDBCServer服务，并至少有一个实例对外服务。在hdfs上创建"/home/data"目录，新增包含如下内容的文件并上传到hdfs
调测Hive Python3样例程序 Python3样例工程的命令行形式运行 赋予“python3-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令： chmod +x python3-examples -R。 将“python3-examples/pyCLI_nosec.py
hdfs dfs -chmod 1777 /user 为了系统文件的安全，建议用户将非临时目录进行安全加固，例如： /user：777 /mr-history：777 /mr-history/tmp：777 /mr-history/done：777 /user/mapred：755
查看作业健康度 在作业管理页面查看当前作业的健康状态： 空：作业未运行，无健康状态 绿色图标：健康 黄色图标：亚健康 红色图标：不健康 导出所有作业健康报告 单击“作业健康报告”，系统会自动将所有作业的健康状态信息导出至本地，包括作业名称，健康度，提交用户，告警信息，配置信息和启动时间等
配置参数 登录FusionInsight Manager系统。 详细操作请参考访问集群Manager。 选择“集群 > 服务 > Spark2x/Spark > 配置”，单击“全部配置”，搜索并调整以下参数。
true --skip-ro-suffix 注册时跳过读取_ro后缀的读优化视图 N false --use-file-listing-from-metadata 从Hudi的元数据中获取文件列表 N false --verify-metadata-file-listing 根据文件系统验证
对系统的影响 集群获取不到最新的临时AK/SK信息，在存算分离场景下，可能导致访问OBS文件失败，引起上层组件业务无法正常处理数据。 可能原因 MRS集群meta角色状态异常。 MRS集群绑定过IAM委托且访问过OBS，后续委托被解绑，导致当前集群未绑定委托。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
