检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
快速使用 本章节以Linux操作系统为例,介绍如何通过obsutil在OBS上完成基本的数据存取操作,具体操作流程如图1所示。 图1 obsutil快速使用流程 前提条件 已获取到obsutil工具,并完成了初始化配置。 已进入obsutil工具所在目录。 操作步骤 运行./obsutil
管理桶配额 使用场景 默认情况下,OBS系统和单个桶都没有总数据容量和对象数量的限制。您可以通过为桶设置配额限制来控制桶内允许上传的对象总容量,超过设置的对象容量后,上传对象会失败。 桶配额只对设置生效后的对象上传操作有限制, 如果设置的桶配额数值小于已经上传的对象容量,不会删除
象,提高删除效率。 对于并行文件系统目录,大数据场景下(目录层级深、目录下文件多)的删除,可能会因超时而删除失败,建议使用: hadoop 客户端(嵌套OBS客户端插件OBSA)删除目录:hadoop fs - rmr obs://{并行文件系统名}/{目录名}。 给目录配置生命周期,通过生命周期后台删除。
console.log("RequestId: %s", result.CommonMsg.RequestId); return; } console.log("An ObsError was found, which means your request
console.log("RequestId: %s", result.CommonMsg.RequestId); return; }; console.log("An ObsError was found, which means your request
的URL,以对OBS服务进行特定操作。 生成带授权信息的表单上传参数 obsClient.CreateBrowserBasedSignature 生成用于鉴权的请求参数,以进行POST表单上传。 断点续传上传 obsClient.UploadFile 对分段上传的封装和加强,解决
console.log("RequestId: %s", result.CommonMsg.RequestId); return; }; console.log("An ObsError was found, which means your request
Printf("Tag[%d]-Key:%s, Value:%s\n", index, tag.Key, tag.Value) } return } fmt.Printf("Get bucket(%s)'s tagging configuration fail!\n"
SSEAlgorithm) fmt.Printf("KeyID:%s\n", output.KMSMasterKeyID) return } fmt.Printf("Get bucket(%s)'s encryption configuration fail
log”会在最近一次系统自动扫描后被删除,可能在11月10日当天,也可能在11月11日,这取决于系统的下一次扫描在何时进行。“doc/保留期内-1”不会被删除。 11月10日更新的对象“log/未配置-2.log”和“log/已过期-2.log”,每下一次系统扫描均会判断距上一次
购买时长仅支持指定15年。15年时长的存储资源包由于系统原因将会分为3个5年时长的资源包,但不影响使用,即0-5年时使用第一个5年资源包,以此类推。 OBS提供的以下资源包也同时支持并行文件系统: 表2 并行文件系统资源包说明 资源包 作用 使用限制 标准存储包(单AZ) 用于抵扣单AZ并行文件系统产生的标准存储数据容量费用。
以迁移HDFS上的“/data/sample”目录为例,执行以下命令查看HDFS文件系统上此目录下的文件与目录。 hadoop fs -ls hdfs:///data/sample 执行以下命令,将HDFS文件系统上“/data/sample”目录下所有文件与目录迁移到OBS桶“obs-b
lue3。 fs 附加参数,可选 是否使用并行文件系统的列举方式,如果桶是并行文件系统,推荐加上该参数。 注意: 该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。
给用户组授权之前,请您了解用户组可以添加的OBS权限,并结合实际需求进行选择,OBS支持的系统权限,请参见:OBS系统权限。如果您需要对除OBS之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。 示例流程 图1 为IAM用户授权OBS资源权限 下面内容以配置IAM用户的对象存储服务“Tenant
10~15分钟权限才能生效。 表1为OBS的所有系统权限。 表1 OBS系统权限 系统角色/策略名称 描述 类别 依赖关系 Tenant Administrator 拥有该权限的用户拥有除IAM外,其他所有服务的所有执行权限。 系统角色 无 Tenant Guest 拥有该权限的
IAM中为各云服务预置了系统权限,方便您快速完成基础权限配置,表1为OBS的所有系统权限。 如果系统预置的OBS权限,不满足您的授权要求,可以创建自定义策略。自定义策略中可以添加的授权项(Action)请参考桶相关授权项和对象相关授权项。 表1 OBS系统权限 系统角色/策略名称 描述
alue2、key3:value3。 fs 附加参数,可选 是否使用并行文件系统的列举方式,如果桶是并行文件系统,推荐加上该参数。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。 该列举方式会因为目录结构,耗时差别很大。
如果待上传的文件名匹配该参数,则跳过该文件的上传。 须知: 建议使用引号传递该匹配模式(macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果。 该匹配模式作用于文件全路径(含文件名和文件目录)。 该匹配模式仅对文件夹中的文件生效。
默认情况下,上传对象至其他用户的桶中,桶拥有者没有对象的控制权限。对象拥有者为桶拥有者添加此权限控制策略后,桶所有者可以完全控制对象。例如,用户A上传对象x至用户B的桶中,系统默认用户B没有对象x的控制权。当用户A为对象x设置bucket-owner-full-control策略后,用户B就拥有了对象x的控制权。
置信息,与已存在的配置信息冲突的规则不会复制。 源桶和目标桶的桶版本号都必须是3.0。 对象存储桶和并行文件系统之间可以相互复制,前提是该功能同时在对象存储桶和并行文件系统都支持。 使用方式 OBS支持通过控制台复制桶配置信息,不支持通过API、SDK、OBS Browser+、obsutil方式复制桶配置信息。