检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建LakeFormation接入客户端 用户可以通过接入管理页面,简单快速地创建并管理接入客户端,可以在客户端详情中获取接入IP等信息,用于多种服务接入LakeFormation实例。 操作步骤 登录管理控制台。
LakeFormation适用哪些场景 LakeFormation适用于以下场景: 数据湖建设和持续运营:数据湖建设和持续运营,是指数据湖的初始化建设及后续日常的海量元数据及权限管理,因此客户需要便捷高效的建设和管理方式。
详细操作如下: 登录LakeFormation管理控制台,在左侧导航栏单击“接入管理”。 依次单击列表中所有客户端“操作”列的“删除”,直到删除所有客户端。
数据湖建设和持续运营 场景描述 数据湖建设和持续运营,是指数据湖的初始化建设及后续日常的海量元数据及权限管理,因此用户需要便捷高效的建设和管理方式。
约束与限制 建议使用推荐的浏览器登录LakeFormation管理界面: Chrome:94.0及更高版本。 Edge:随Windows操作系统更新。 IAM用户组被删除后,LakeFormation云服务数据权限中的相关权限策略,需要用户手动清理删除。
基于策略授权的服务授权项 云服务在IAM预置了常用授权项,称为系统策略。如果IAM系统策略无法满足授权要求,管理员可以根据各服务支持的授权项,创建IAM自定义策略来进行精细的访问控制,IAM自定义策略是对系统策略的扩展和补充。
委托 拥有LakeFormation授权的委托,用于dws系统通过委托token和LakeFormation交互以获取元数据。 描述 要创建的LakeFormation数据源连接的描述信息。 确认无误后,单击“确认”按钮,提交创建操作,创建过程大约需要1分钟左右。
在MRS集群“组件管理”页签,查看是否存在“配置超期”的组件,如果存在请单击“操作”列的“重启”,重启相关组件。 重新下载并安装MRS集群完整客户端。具体操作请参考安装客户端。 如果需要在管理控制台执行作业提交操作,需要更新集群内置客户端配置文件。
注册成功后,系统会自动跳转至您的个人信息界面。 个人或企业账号实名认证请参考实名认证。 云服务授权操作 使用注册华为云账号创建的用户登录管理控制台。 在左侧服务列表中选择“大数据 > 湖仓构建 LakeFormation”,进入“服务授权”页面。
CTS可用于对LakeFormation实例、元数据等权限的管理。 父主题: 安全
步骤二:创建存储元数据的OBS路径 登录管理控制台。 在页面左上角单击,选择“存储 > 对象存储服务”,进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。
API方式 如果用户需要将公有云平台上的LakeFormation实例集成到第三方系统,用于二次开发,可使用API方式访问LakeFormation实例,具体操作请参见API参考。
创建Catalog 数据目录(Catalog)是元数据管理对象,它可以包含多个数据库。 用户可在LakeFormation中创建并管理多个Catalog,用于不同外部集群的元数据隔离。 登录管理控制台。
LakeFormation产品通过底层资源实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理、元数据与文件目录联动授权、对接多计算引擎等功能,是一个Serverless服务。
支持的授权项 策略包含系统策略和自定义策略,如果系统策略不满足授权要求,管理员可以创建自定义策略,并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应,授权项列表说明如下: 权限:允许或拒绝某项操作。 对应API接口:自定义策略实际调用的API接口。
数据目录(CATALOG):LakeFormation管理的数据目录,可以包含多个数据库。 数据库(DATABASE):LakeFormation管理的数据库,可以包含多个数据表或函数。 数据表(TABLE):LakeFormation管理的数据表,可以包含多个列。
表1 LakeFormation系统策略 系统角色/策略名称 描述 类别 依赖关系 LakeFormation FullAccess LakeFormation管理员权限,拥有该权限的用户可以操作并使用所有LakeFormation服务功能。
企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 xxx 描述 当前实例的描述信息。 - 标签 在标签键/值输入框输入内容后单击“添加”,即可添加标签。
切换角色后无法创建表如何处理 问: 切换角色至委托方账户后,在LakeFormation管理控制台创建表等元数据,报错“field 'owner' 需要匹配正则表达式'[a-zA-Z0-9_]+'”该如何处理?
在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接多种计算引擎及大数据云服务 本文档提供LakeFormation服务应用开发流程、环境准备及程序编写介绍,供需要进行业务应用开发的开发人员使用。