检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Console 实例管理 任务管理 服务授权管理 OBS管理 配置管理 接入管理 规格管理 配额管理服务 标签管理服务 委托管理 元数据事件管理 Location 父主题: API
当前用户具有OBS相关操作权限,且已创建用于存储数据的OBS并行文件系统。 需将待迁移的权限策略文件导出,并上传至OBS并行文件系统中。权限导出操作可联系对应服务支持人员。 权限策略中授权主体(除角色外)需要提前创建,且名称需保持一致;权限策略中包含的元数据已存在,且名称一致。
在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS对象桶或OBS并行文件系统。 如果已存在可用的OBS对象桶或OBS并行文件系统,可跳过该章节操作。以下操作以创建OBS并行文件系统路径为例进行说明。 操作步骤 登录管理控制台。
其中位置是Catalog所映射的OBS并行文件系统的文件目录。
√ √ 元数据生命周期管理 LakeFormation支持配置数据的删除策略,节省空间及成本,提升系统的灵活性。 √ √ 元数据权限管理 提供针对元数据的授权、取消、查看等功能。
创建客户端 登录华为云管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,进入实例界面。 在左侧导航栏选择“接入管理”,进入接入管理界面。
安全 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 更新管理
选择“接入管理 > 创建客户端”,创建LakeFormation实例接入管理客户端。其中“虚拟私有云”和“所属子网”需要与待对接的MRS集群保持一致。详细操作请参考管理接入客户端。 MRS集群的VPC子网信息可通过登录MRS管理控制台,在MRS集群的概览页面中获取。
修改DNS信息 登录华为云管理控制台。 在“服务列表”中,选择“网络 > 云解析服务DNS”进入云解析控制台。 在左侧选择“内网域名”,进入内网域名界面。
数据仓库服务 GaussDB(DWS) LakeFormation与DWS对接,实现湖、仓元数据统一管理。
选择“接入管理 > 创建客户端”,创建LakeFormation实例接入管理客户端。其中“虚拟私有云”和“所属子网”需要与待对接的MRS集群保持一致。详细操作请参考管理接入客户端。 MRS集群的VPC子网信息可通过登录MRS管理控制台,在MRS集群的概览页面中获取。
操作步骤 登录LakeFormation管理控制台。 在左侧下拉框中选择待操作的LakeFormation实例,在左侧导航栏选择“任务管理 > 任务授权”。 单击“同意授权”,对当前用户授予管理LakeFormation迁移任务权限。如果已授权则跳过该步骤。
浏览器约束限制 表1 浏览器约束说明 限制项 说明 浏览器 建议使用推荐的浏览器登录LakeFormation管理界面。 Chrome:94.0及更高版本。 Edge:随Windows操作系统更新。
None 操作指导 创建LakeFormation实例 02:31 在管理控制台创建LakeFormation实例 创建LakeFormation元数据并授权 06:36 为LakeFormation实例创建元数据并授权
2022年11月 序号 功能名称 功能描述 阶段 相关文档 1 LakeFormation公测上线 支持基于IAM用户组统一授权管理。 元数据统一,支持与MRS集群Hive和Spark对接。 商用 LakeFormation使用流程简介
在为MRS集群1、DWS集群配置对接LakeFormation并授予相关操作权限后,DWS集群的数仓用户可通过LakeFormation的统一元数据管理,向数据表T1中添加分区和写入数据,MRS集群1的大数据用户B可以读取数据表T1中的数据。
创建客户端 在LakeFormation控制台接入管理界面创建客户端。 修改DNS信息 在云解析服务中,修改linux环境所在子网的内网域名信息。 父主题: 环境准备
用户开通云审计服务并创建和配置追踪器后,CTS可记录LakeFormation的管理事件和数据事件用于审计。关于如何开通云审计服务以及如何查看追踪事件,请参考云审计服务快速入门中的相关章节。
false spark.sql.catalog.catalog_name.lakeformation.owner.designate=true 使用MetastoreClient方式对接时,可选择以下配置方式: 在spark-default.conf补充以下配置: # 可选参数,认证管理器实现类
使用上述步骤获取的接入IP与实例ID访问元数据管理相关接口,获取目录列表。