检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备一个提交Flink作业的用户。 登录Manager，选择“系统 > 权限 > 角色”，单击“添加角色”，输入角色名称与描述。在“配置资源权限”的表格中选择“待操作集群的名称 > Flink”，勾选“FlinkServer管理操作权限”，单击“确定”，返回角色管理。 选择“系统 > 权限 > 用户”，单击“添
加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 在启用了安全服务的集群中执行如下操作，需要在数据库中具有UPDATE权
加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 在启用了安全服务的集群中执行如下操作，需要在数据库中具有UPDATE权
操作场景 本入门提供从零开始创建流式分析集群并在Kafka主题中产生和消费消息的操作指导。 Kafka集群提供一个高吞吐量、可扩展性的消息系统，广泛用于日志收集、监控数据聚合等场景。Kafka可实现高效的流式数据采集、实时数据处理存储等。 操作流程 开始使用如下样例前，请务必按准备工作指导完成必要操作。
Hive表支持级联授权功能 操作场景 开启级联授权功能的集群极大地提升了鉴权易用性，用户只需在Ranger页面上对业务表进行一次授权，系统就会自动细粒度关联数据存储源的权限，不需要感知表的存储路径，无需进行二次授权。同时也补齐了基于存算分离授权功能缺陷，可以在Ranger上实现对
配置ClickHouse元数据预先缓存到内存 操作场景 RocksDB是一个高性能的嵌入式键值存储系统，广泛应用于需要快速读写访问的场景。在ClickHouse中，RocksDB可以用于缓存元数据，从而显著加快元数据的加载速度。 当ClickHouse业务表数量和表数据量较大时，
CDL用户权限管理 操作场景 在使用CDL服务前，需集群管理员创建用户并指定其操作权限以满足业务使用需求。 CDL用户分为管理员用户和普通用户，系统默认的CDL管理员用户组为“cdladmin”，CDL普通用户对应用户组为“cdl”。 关联了“cdladmin”用户组的用户可以执行CDL的任何操作。
交、运行任务。用户之间是不可见，MRS提供权限控制机制，使用户的任务信息不被其他用户获取。 例如，用户A提交的应用正在运行，此时用户B登录系统并查看应用列表，用户B不应该访问到A用户的应用信息。 操作影响 该章节参数配置会影响restful API和shell命令结果，即以下参数配置开启后，restful
执行SparkSql语句 在“Database”右侧下拉列表选择一个SparkSql中的数据库，默认数据库为“default”。 系统将自动显示数据库中的所有表。可以输入表名关键字，系统会自动搜索包含此关键字的全部表。 图1 选择数据库 单击指定的表名，可以显示表中所有的列。 光标移动到表所在的行，单击
高Streaming的吞吐能力，在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。 操作步骤 一个简单的流处理系统由以下三部分组件组成：数据源 + 接收器 + 处理器。数据源为Kafka，接收器为Streaming中的Kafka数据源接收器，处理器为Streaming。
配置Hive支持创建超过32个角色 操作场景 此功能适用于Hive。 因为操作系统用户组个数限制，导致Hive不能创建超过32个角色，开启此功能后，Hive将支持创建超过32个角色。 开启本功能并对表库等授权后，对表库目录具有相同权限的角色将会用“|”合并。查询acl权限时，将显
Loader是实现MRS与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件的ETL工具，支持将数据或文件从关系型数据库或文件系统导入到MRS服务中。 Loader支持如下数据导入方式： 从关系型数据库导入数据到HDFS/OBS。 从关系型数据库导入数据到HBase。
HDFS客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用HDFS客户端对HDFS文件系统进行操作，例如读文件、写文件等操作。 前提条件 已安装客户端。 例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 各组件业务用
lancer接口工作方式类似。Mover能够基于设置的数据存储策略，将集群中的数据重新分布。 通过运行Mover，周期性地检测HDFS文件系统中用户指定的HDFS文件或目录，判断该文件或目录是否满足设置的存储策略，如果不满足，则进行数据迁移，使目标目录或文件满足设定的存储策略。 约束与限制
Loader基本原理 Loader是在开源Sqoop组件的基础上进行了一些扩展，实现MRS与关系型数据库、文件系统之间交换“数据”、“文件”，同时也可以将数据从关系型数据库或者文件服务器导入到HDFS/HBase中，或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。
组件WebUI便捷访问 大数据组件都有自己的WebUI页面管理自身系统，但是由于网络隔离的原因，用户并不能很简便地访问到该页面。 例如访问HDFS的WebUI页面，传统的操作方法是需要用户创建ECS，使用ECS远程登录组件的UI，这使得组件的页面UI访问很是繁琐，对于很多初次接触大数据的用户很不友好。
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 堆内存使用高，Loader会出现频繁FULL GC，导致Loader性能变差，页面反应速度变慢。如果内存溢出
ALM-45616 CDL任务执行异常 告警解释 系统每60秒为周期检查CDL任务是否异常，如果异常则产生该告警。任务正常运行或者停止后，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45616 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名
产生告警的角色名称。 主机名 产生告警的主机名。 设备分区名 产生告警的磁盘分区。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 磁盘容量不足会导致Kafka写入数据失败。 可能原因 用于存储Kafka数据的磁盘配置（如磁盘数目、磁盘大小
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive堆内存使用率过高，会影响Hive任务运行的性能，甚至造成内存溢出导致Hive服务不可用。 可能原因
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
