检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi表的数据文件，可以使用操作系统的文件系统存储，也可以使用HDFS这种分布式的文件系统存储。为了后续分析性能和数据的可靠性，一般使用HDFS进行存储。以HDFS存储来看，一个Hudi表的存储文件分为两类。
搜索作业 在“Job Browser”的“Username”或“Text”，输入指定的字符，系统会自动搜索包含此关键字的全部作业。 清空搜索框的内容，系统会重新显示所有作业。 查看作业详细信息 在“Job Browser”的作业列表，单击作业所在的行，可以打开作业详情。
Hudi表的数据文件，可以使用操作系统的文件系统存储，也可以使用HDFS这种分布式的文件系统存储。为了后续分析性能和数据的可靠性，一般使用HDFS进行存储。以HDFS存储来看，一个Hudi表的存储文件分为两类。 “.hoodie”文件夹中存放了对应的文件合并操作相关的日志文件。
在MRS Manager界面，单击“系统设置 > 日志导出”。 请联系运维人员，并发送已收集的故障日志信息。 参考信息 无。 父主题： MRS集群告警处理参考
在MRS Manager界面，单击“系统设置 > 日志导出”。 请联系运维人员，并发送已收集的故障日志信息。 参考信息 无。 父主题： MRS集群告警处理参考
表2 日志级别 级别 描述 FATAL FATAL表示系统运行的致命错误信息。 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示系统及系统调试信息。
调度系统，需要考虑调度系统对接MRS集群。 迁移后，业务割接允许中断时长，识别平台业务优先级。 识别在迁移过程中不能中断的业务、可短时中断的业务、整体业务迁移可接受的迁移时长，梳理业务迁移顺序。 客户端部署要求。 业务执行时间段和高峰时间段。
命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。
从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 在启用了安全服务的集群中执行如下操作，需要在数据库中具有UPDATE权限及对加载数据文件具有owner权限和读写权限，详情请参见Hive应用开发概述。
快速开发HBase应用 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点： 处理海量数据（TB或PB级别以上）。 具有高吞吐量。
从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 在启用了安全服务的集群中执行如下操作，需要在数据库中具有UPDATE权限及对加载数据文件具有owner权限和读写权限。
Kafka集群提供一个高吞吐量、可扩展性的消息系统，广泛用于日志收集、监控数据聚合等场景。Kafka可实现高效的流式数据采集、实时数据处理存储等。 操作流程 开始使用如下样例前，请务必按准备工作指导完成必要操作。
数据导出到文件系统 在MapReduce作业的Map阶段，从HDFS或者HBase中抽取数据，然后将数据写入到文件服务器临时目录中。 在MapReduce作业的提交阶段，将文件从临时目录迁移到正式目录。
组件WebUI便捷访问 大数据组件都有自己的WebUI页面管理自身系统，但是由于网络隔离的原因，用户并不能很简便地访问到该页面。
配置ClickHouse元数据预先缓存到内存 操作场景 RocksDB是一个高性能的嵌入式键值存储系统，广泛应用于需要快速读写访问的场景。在ClickHouse中，RocksDB可以用于缓存元数据，从而显著加快元数据的加载速度。
HDFS客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用HDFS客户端对HDFS文件系统进行操作，例如读文件、写文件等操作。 前提条件 已安装客户端。 例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。
Hive表支持级联授权功能 操作场景 开启级联授权功能的集群极大地提升了鉴权易用性，用户只需在Ranger页面上对业务表进行一次授权，系统就会自动细粒度关联数据存储源的权限，不需要感知表的存储路径，无需进行二次授权。
例如，用户A提交的应用正在运行，此时用户B登录系统并查看应用列表，用户B不应该访问到A用户的应用信息。
通过运行Mover，周期性地检测HDFS文件系统中用户指定的HDFS文件或目录，判断该文件或目录是否满足设置的存储策略，如果不满足，则进行数据迁移，使目标目录或文件满足设定的存储策略。 约束与限制 本章节适用于MRS 3.x及后续版本。
CDL用户分为管理员用户和普通用户，系统默认的CDL管理员用户组为“cdladmin”，CDL普通用户对应用户组为“cdl”。 关联了“cdladmin”用户组的用户可以执行CDL的任何操作。 关联了“cdl”用户组的用户可以执行CDL的创建和查询操作。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
