检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求,请参考后续操作,申请扩大配额。 如何申请扩大配额? 登录管理控制台。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。
当前用户具有OBS相关操作权限,且已创建用于存储数据的OBS并行文件系统。 需将待迁移的权限策略文件导出,并上传至OBS并行文件系统中。权限导出操作可联系对应服务支持人员。 权限策略中授权主体(除角色外)需要提前创建,且名称需保持一致;权限策略中包含的元数据已存在,且名称一致。
调测程序 配置完样例代码后,参考该章节操作导出Jar包并将jar包上传到接入LakeFormation客户端所在节点。 导出Jar包。 选择“Maven > 样例工程名称 > Lifecycle > clean”,双击“clean”运行maven的clean命令。 选择“Maven
其中位置是Catalog所映射的OBS并行文件系统的文件目录。
Windows系统下需要在WSL开发环境下进行maven相关操作。 根据Hive版本下载Hive源码。 例如Hive内核版本号为2.3.9,则下载链接为https://github.com/apache/hive/tree/rel/release-2.3.9。
huaweicloud-lake-formation-lakecat-sdk-java/releases 根据Hive版本下载对应客户端(Hive版本为2.3.9,则下载hive-exec-2.3.9.jar、hive-common-2.3.9.jar) 方式二:本地编译Hive相关jar包 Windows系统下需要在
如果配置“函数位置”参数,需已参考创建元数据存储路径提前创建了用于存储函数的OBS并行文件系统。 创建函数 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
注册成功后,系统会自动跳转至您的个人信息界面。 个人或企业账号实名认证请参考实名认证。 父主题: 准备工作
创建存储元数据的OBS路径 创建OBS并行文件系统,详情请参考创建并行文件系统章节。例如文件系统名称为“lakeformation-test”。 在并行文件系统页面,单击已创建的文件系统名称,例如“lakeformation-test”。
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于获取用户Token接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求消息头
数据存储位置 表所映射的OBS并行文件系统的文件目录。 单击“”,选择表存储在OBS并行文件系统中的位置,单击“确定”。
已上传待检测的数据至OBS并行文件系统,即已从S3或HDFS将数据上传复制到LakeFormation实例所在Region的OBS并行文件系统的规划路径下。 元数据发现的目标Catalog、目标Database已规划和创建。 操作步骤 登录管理控制台。
如何获取AK/SK AK/SK(Access Key ID/Secret Access Key)即访问密钥,包含访问密钥ID(AK)和秘密访问密钥(SK)两部分,系统通过AK识别用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。
如果没有合适的并行文件系统,可以单击“前往OBS创建”进行创建。 必须与所属的Catalog存储路径(即创建Catalog时配置的“选择位置”参数)不同。
创建LakeFormation自定义IAM策略 如果系统预置的LakeFormation权限,不满足您的授权要求,可以创建自定义策略。
IAM系统策略 表1介绍了LakeFormation的默认系统策略。
什么是项目 云的每个区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以区域默认单位为项目进行授权,IAM用户可以访问您账号中该区域的所有资源。
例如:系统中存在系统权限管理员User A、业务权限管理员User B、普通用户User C。User A将Catalog1的ALL权限授予User B并同时赋予授权权限后,User B可将Catalog1的DESC等权限授予User C。
Catalog类型 选择Catalog类型: DEFAULT CLICKHOUSE 选择位置 Catalog数据存储在OBS并行文件系统中的位置。可选参数。 单击“”,选择位置后,单击“确定”。
服务授权管理 接入服务授权 查询租户当前的接入服务授权 注册租户协议 查询租户是否注册协议 删除租户协议 注册租户协议 查询租户是否注册协议 删除租户协议 查询当前系统协议 父主题: Console