检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件中的字段分隔符。 “映射表类型”选择“HDFS”时存在此参数。 例如：“,” 流/表结构 填写流/表结构，包含名称，类型。 - Proctime 指系统时间，与数据本身的时间戳无关，即在Flink算子内计算完成的时间。 “类型”选择“Source”时存在此参数。 - Event Time
在对接HDFS组件之前，需要注意首先确保HDFS中有对应的目录，ClickHouse的HDFS引擎只会操作文件不会创建或删除目录。 当前系统只支持部署在x86节点的ClickHouse集群对接HDFS，部署在ARM节点的ClickHouse集群不支持对接HDFS。 操作步骤 以客户端安装用户，登录客户端所在节点。
keytab”在运行样例的主机上的保存路径，使用绝对路径便于更好定位文件位置。在Windows环境和Linux环境下配置时需注意区分不同操作系统路径书写方式，即“\\”与“\”差异。 [6] Client：第三方ZooKeeper使用该配置进行访问连接，具体连接认证配置由第三方ZooKeeper版本决定。
度。 动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时地增减Executor个数，从而实现动态分配资源，使整个Spark系统更加健康。 操作步骤 需要先配置External shuffle service，具体请参考使用External Shuffle Service提升性能。
S Kafka组件。 实时流处理引擎：从Kafka实时读取时序数据，并进行一些逻辑运算，将实时时序数据写入时序数据库中。 数据湖：其他IT系统上的数据，时序数据库可以通过跨源分析能力与数据湖中的全量数据进行关联，与IT数据进行进一步的复杂分析。 HetuEngine：跨源分析引擎
文件和文件夹，只有其所有者或者具备root权限的用户才能进行删除或重命名操作。 hdfs dfs -chmod 1777 /user 为了系统文件的安全，建议用户将非临时目录进行安全加固，例如： /user：777 /mr-history：777 /mr-history/tmp：777
在作业管理页面查看当前作业的健康状态： 空：作业未运行，无健康状态 绿色图标：健康 黄色图标：亚健康 红色图标：不健康 导出所有作业健康报告 单击“作业健康报告”，系统会自动将所有作业的健康状态信息导出至本地，包括作业名称，健康度，提交用户，告警信息，配置信息和启动时间等。 健康度为“0”：健康 健康度为“1”：亚健康
events are being started by the scheduler. 配置参数 登录FusionInsight Manager系统。 详细操作请参考访问集群Manager。 选择“集群 > 服务 > Spark2x/Spark > 配置”，单击“全部配置”，搜索并调整以下参数。
metadata 从Hudi的元数据中获取文件列表 N false --verify-metadata-file-listing 根据文件系统验证Hudi元数据中的文件列表 N false --help、-h 查看帮助 N false --support-timestamp 将原
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名称。 对系统的影响 集群获取不到最新的临时AK/SK信息，在存算分离场景下，可能导致访问OBS文件失败，引起上层组件业务无法正常处理数据。 可能原因 MRS集群meta角色状态异常。
已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 确保集群网络环境安全。 操作步骤 在FusionInsight Manager管理界面，选择“系统 > 权限 > 用户”，选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1 下载认证凭据
Manager系统，选择“集群 > 待操作集群的名称 > 服务 > Loader > 更多 > 重启服务”，输入管理员密码重启Loader服务。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统，具体请参见访问FusionInsight
DFSColocationClient：操作colocation文件的接口。常用接口参见表4。 系统中不保留文件与LocatorId的映射关系，只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时，系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
DFSColocationClient：操作colocation文件的接口。常用接口参见表4。 系统中不保留文件与LocatorId的映射关系，只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时，系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
DFSColocationClient：操作colocation文件的接口。常用接口参见表4。 系统中不保留文件与LocatorId的映射关系，只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时，系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
Cp工具依赖于集群间拷贝功能，该功能默认未启用。两个集群都需要配置。 该任务指导MRS集群管理员在MRS修改参数以启用集群间拷贝功能。 对系统的影响 启用集群间复制功能需要重启Yarn，服务重启期间无法访问。 前提条件 两个集群HDFS的参数“hadoop.rpc.protect
er可用硬件资源设置为相同的值，可能造成性能浪费或状态异常，需要修改各个NodeManager角色实例的配置，使硬件资源得到充分利用。 对系统的影响 保存新的配置需要重启NodeManager角色实例，此时对应的角色实例不可用。 操作步骤 MRS 3.x之前的版本集群执行以下操作：
文件和文件夹，只有其所有者或者具备root权限的用户才能进行删除或重命名操作。 hdfs dfs -chmod 1777 /user 为了系统文件的安全，建议用户将非临时目录进行安全加固，例如： /user：777 /mr-history：777 /mr-history/tmp：777
队列，从而达到资源隔离，且JDBCServer根据需求动态启动，可避免浪费资源。 配置描述 登录FusionInsight Manager系统。 详细操作请参考访问集群Manager。 选择“集群 > 服务 > Spark2x/Spark > 配置”，单击“全部配置”，搜索并调整以下参数。
compression.codec”配置项只适用于设置非分区表的parquet压缩格式。 配置参数 登录FusionInsight Manager系统。 详细操作请参考访问集群Manager。 选择“集群 > 服务 > Spark2x/Spark > 配置”，单击“全部配置”，搜索并调整以下参数。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
