检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Bucket) fmt.Printf("RequestId:%s\n", output.RequestId) return } fmt.Printf("Create bucket:%s fail!\n", input.Bucket) if
碎片管理 背景知识 OBS采用分块上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 文件上传失败或上传任务暂停后,都会有碎片存储
通过对象URL访问对象 对象URL(对象共享)功能,可实现匿名用户通过对象共享链接地址,直接访问对象数据。 前提条件 已通过管理控制台设置匿名用户读取该指定对象的权限。 操作步骤 登录OBS Browser。 单击待操作的桶,进入桶界面。 选中待配置的对象,单击需要共享的对象右侧
readErr != nil { break } } return } fmt.Printf("List objects under the bucket(%s) fail!\n", input
分享文件或文件夹 对象URL(对象共享)功能,可实现匿名用户通过对象共享链接地址,直接访问对象数据。 前提条件 已通过OBS管理控制台设置匿名用户读取该指定对象的权限。对象ACL权限设置请参考ACL章节。 操作步骤 登录OBS Browser+。 选中待配置的对象,单击需要共享的对象右侧的图标,如下图1、图2所示。
AccessKeyID:Signature Authorization头域的值,由字符串“OBS”、用户访问密钥ID(AK)和签名Signature三部分组成。字符串“OBS”与AK之间用空格分隔,AK与签名之间用英文冒号分隔。 获取访问密钥ID(AK)请参见:管理访问密钥 计算签名Signature的3种方式如表1所示:
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
管理桶 获取桶元数据 判断桶是否存在 删除桶 管理桶访问权限 管理桶策略 获取桶区域位置 获取桶存量信息 桶配额 桶存储类型
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
Cloudera CDH对接OBS 部署视图 安装版本 硬件:1Master+3Core(配置:8U32G,操作系统:CentOS 7.5) 软件:CDH 6.0.1 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。 并将OBS
联sfsturbo”。 在“关联sfsturbo”弹窗中,选择创建资源中创建的SFS Turbo HPC型文件系统。 图2 关联SFS Turbo 选择完成后,单击“确定”创建关联。 使用过程中请不要解除关联,解除关联会导致ModelArts资源池无法访问SFS Turbo文件系统中的数据。
bucketname.obs.cn-north-4.myhuaweicloud.com Date: date Authorization: signatureValue Policy written in JSON 请求消息参数 该请求消息中不使用消息参数。 请求消息头 该请求使用公共消息头,具体请参见表3。
卸载OBS Browser+ 在Windows系统的“控制面板 > 程序 >程序和功能”中,找到“obs-browser-plus xxx”,单击右键,选择“卸载”,根据提示即可完成卸载。
云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 SignatureDoesNotMatch签名不匹配 Status-->403 Code-->SignatureDoesNotMatch 此错误一般是初始化ObsClient时传入的SK有误,解决方法:检查SK,确保正确。
createPostSignatureSync生成基于表单上传的请求参数。使用BrowserJS代码模拟表单上传的完整代码示例,参见post-object-sample。您也可以通过如下步骤进行表单上传: 使用ObsClient.createPostSignatureSync生成用于鉴权的请求参数。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS
下载OBS Browser+ 针对不同操作系统,OBS Browser+下载地址如表1所示。 表1 下载列表 支持平台 软件包下载地址 SHA256校验和 Windows x32 OBSBrowserPlus-win32 1ad44933c34668cd24bb9460de48d
支持批量上传、下载、删除、复制、移动等。 支持拖拽上传。 定时上传。 并行文件系统基本操作 支持并行文件系统的基本操作,包括列举并行文件系统,查询并行文件系统的基本信息、并行文件系统ACL、碎片管理、删除并行文件系统等。 并行文件系统中对象基本操作 支持并行文件系统中对象的基本操作,包括新建文件夹,上传对象,列举对象、下载对象、删除对象等。
Server2016以及Mac平台。各操作系统的规格要求如表1所示。您可以单击这里获取用于不同操作系统的OBS Browser+的下载地址和安装方法。 使用前请绑定支付方式,避免因费用问题导致受限。 表1 OBS Browser+对PC机的规格要求 规格项 规格要求 备注 操作系统 Windows 10