检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用于项目管理,贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件。 支持7-Zip 16.04版本。
登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 图1 查看项目ID 多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。 调用API获取项目ID 项目ID还可通过调用查询指定条件下的项目列表API获取。
LakeCat 函数管理 目录管理 数据库管理 数据表管理 数据表统计 分区管理 分区统计信息 授权管理 用户组管理 元数据统计 角色管理 凭证管理 配置管理 User 元数据事件管理 父主题: API
登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求,请参考后续操作,申请扩大配额。
当前用户具有OBS相关操作权限,且已创建用于存储数据的OBS并行文件系统。 需将待迁移的权限策略文件导出,并上传至OBS并行文件系统中。权限导出操作可联系对应服务支持人员。 权限策略中授权主体(除角色外)需要提前创建,且名称需保持一致;权限策略中包含的元数据已存在,且名称一致。
在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS对象桶或OBS并行文件系统。 如果已存在可用的OBS对象桶或OBS并行文件系统,可跳过该章节操作。以下操作以创建OBS并行文件系统路径为例进行说明。 操作步骤 登录OBS管理控制台。
通过这些可口,您可以创建并管理任务。 服务授权管理 协议授权管理接口,包括系统协议查询、已授权协议查询、协议授权等接口。 用户开通使用LakeFormation服务前,需要提前了解并接受相关的协议与授权。 OBS管理 OBS桶管理接口,包括OBS桶、对象等查询接口。
Console 实例管理 任务管理 服务授权管理 OBS管理 配置管理 接入管理 规格管理 配额管理服务 标签管理服务 委托管理 元数据事件管理 Location 父主题: API
√ √ 元数据生命周期管理 LakeFormation支持配置数据的删除策略,节省空间及成本,提升系统的灵活性。 √ √ 元数据权限管理 提供针对元数据的授权、取消、查看等功能。
创建客户端 登录华为云管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,进入实例界面。 在左侧导航栏选择“接入管理”,进入接入管理界面。
安全 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 更新管理
选择“接入管理 > 创建客户端”,创建LakeFormation实例接入管理客户端。其中“虚拟私有云”和“所属子网”需要与待对接的MRS集群保持一致。详细操作请参考管理接入客户端。 MRS集群的VPC子网信息可通过登录MRS管理控制台,在MRS集群的概览页面中获取。
修改DNS信息 登录华为云管理控制台。 在“服务列表”中,选择“网络 > 云解析服务DNS”进入云解析控制台。 在左侧选择“内网域名”,进入内网域名界面。
MapReduce服务(MapReduce Service,MRS) LakeFormation与MRS集群中的Ranger、Hive、Spark对接,实现湖、仓元数据统一管理。 数据仓库服务(DWS) LakeFormation与DWS对接,实现湖、仓元数据统一管理。
选择“接入管理 > 创建客户端”,创建LakeFormation实例接入管理客户端。其中“虚拟私有云”和“所属子网”需要与待对接的MRS集群保持一致。详细操作请参考管理接入客户端。 MRS集群的VPC子网信息可通过登录MRS管理控制台,在MRS集群的概览页面中获取。
浏览器约束限制 表1 浏览器约束说明 限制项 说明 浏览器 建议使用推荐的浏览器登录LakeFormation管理界面。 Chrome:94.0及更高版本。 Edge:随Windows操作系统更新。
在左侧导航栏选择“任务管理 > 权限迁移”,单击待操作任务操作列的“运行”,重新运行权限迁移任务。 父主题: 元数据迁移类
None 操作指导 创建LakeFormation实例 02:31 在管理控制台创建LakeFormation实例 创建LakeFormation元数据并授权 06:36 为LakeFormation实例创建元数据并授权
2022年11月 序号 功能名称 功能描述 阶段 相关文档 1 LakeFormation公测上线 支持基于IAM用户组统一授权管理。 元数据统一,支持与MRS集群Hive和Spark对接。 商用 LakeFormation使用流程简介
在为MRS集群1、DWS集群配置对接LakeFormation并授予相关操作权限后,DWS集群的数仓用户可通过LakeFormation的统一元数据管理,向数据表T1中添加分区和写入数据,MRS集群1的大数据用户B可以读取数据表T1中的数据。