检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。 修改编译datax。
me"); TemporarySignatureResponse response = obsClient.createTemporarySignature(request); Log.i("CreateTemporarySignature", "Creating bucket using
列举对象 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient->listObjects列举出桶里的对象。 该接口可设置的参数如下: 参数 作用 Prefix
管理并行文件系统(Java SDK) 创建并行文件系统(Java SDK) 列举并行文件系统(Java SDK) 列举并行文件系统内对象(Java SDK) 修改写对象(Java SDK) 重命名对象(Java SDK) 截断对象(Java SDK)
桶ACL权限简介 访问控制列表(Access Control List,ACL)是一个指定被授权者和所授予权限的授权列表。 OBS桶和对象的ACL是基于账号的访问控制,默认情况下,创建桶和对象时会同步创建ACL,授权拥有者对桶和对象资源的完全控制权限。 OBS的ACL为了实现用户简单实用地授权,包含以下特点:
createPostSignatureSync生成用于鉴权的请求参数。 准备表单HTML页面。 将生成的请求参数填入HTML页面。 选择本地文件,进行表单上传。 使用SDK生成用于鉴权的请求参数包括两个: Policy,对应表单中policy字段。 Signature,对应表单中的signature字段。
任务管理 管理运行队列 管理已暂停队列 管理已完成队列 管理恢复中队列 管理失败队列
提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能说明 将指定并行文件系统内的一个对象从指定位置起修改为其他内容。 接口约束 目前接口仅在并行文件系统支持,普通对象桶不支持,如何创建并行文件系统请参考创建桶。 您必须是并行文件系统拥有者或拥有修改写对象的权限,才能修改
对象相关授权项 表1 对象相关授权项列表 权限 对应API接口 授权项(Action) IAM项目(Project) 企业项目(Enterprise Project) 可用作于PUT上传对象,POST上传对象,追加写对象,初始化上传段任务,上传段,拷贝段,合并段,修改写对象,截断对象,重命名对象
列举并行文件系统(Go SDK) 功能介绍 OBS并行文件系统是对象的容器,您上传的文件都存放在并行文件系统中。调用获取并行文件系统列表接口,可列举当前账号所有地域下符合指定条件的并行文件系统。返回结果以并行文件系统名的字典序排序。 接口约束 您必须拥有obs:bucket:Li
考虑到桶名会作为访问域名的一部分,需要参与域名解析,因此桶名需要满足DNS域名规范。OBS系统在接受创桶请求时,会对桶名进行严格的检查,具体规则如下: 需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的桶。用户删除桶后,立即创建同名桶或并行文件系统会创建失败,需要等待30分钟才能创建。 长度范围为3到63
默认取值: 无 signature str 参数解释: 表单中的signature。示例如下: g0jQr4v9VWd1Q2FOFDG6LGfV9Cw= 默认取值: 无 代码样例 此用例用于生成带授权信息的表单上传参数policy和signature。 1 2 3 4
传文件至应用服务器,再由应用服务器上传至OBS,数据需要在应用服务器中转,传输效率较低,且多任务同时上传时应用服务器压力大。 本文介绍一种在Web端利用PostObject接口直传文件至OBS的方法,即使用表单上传方式上传文件至OBS。如图1所示,该方案省去了应用服务器这一步骤,
对计算结果进行Base64编码,得到最终的签名信息 const signature = Crypto.enc.Base64.stringify(bytes); return signature; } module.exports = getSignature; 使用小程序直传数据至对象存储桶中。 基于
canonicalString + "]"); String signature = null; try { signature = Signature.signWithHmacSha1(securityKey, canonicalString);
并行文件系统 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件语义系统,旨在为基于对象存储服务作为统一数据湖存储的大数据场景提供解决方案。 并行文件系统的详细介绍和使用说明,请参见并行文件系统。
并行文件系统约束限制 操作限制 不支持将已有的OBS桶修改为并行文件系统,创建并行文件系统方法请参见创建并行文件系统。 不支持控制台设置并行文件系统的自定义域名,API设置方法参见设置自定义域名。 功能限制 暂不支持通过图片处理特性对存放在并行文件系统中的图片进行瘦身、缩放、添加水印等操作。
ConcurrentUploadPartSample 展示了分段并发上传大对象的用法 PostObjectSample 展示了表单上传对象的用法 TemporarySignatureSample 展示了使用URL进行授权访问的用法
ObsClient) CreateBrowserBasedSignature(input *CreateBrowserBasedSignatureInput) (output *CreateBrowserBasedSignatureOutput, err error) 请求参数说明 表1 请求参数列表
request) 在当前账号按照用户指定的并行文件系统名称创建一个新并行文件系统,接口支持根据用户诉求,在创建并行文件系统的同时配置并行文件系统的区域及桶ACL等参数。 PFSBucketAndObjectOperationSample 列举并行文件系统 obsClient.listBuck