检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。
背景信息 由于OBS没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据,OBS提供了一种方式模拟文件夹。通过在对象的名称中增加“/”,将该对象在管理控制台上模拟成一个文件夹的形式展现。 操作步骤 登录OBS Browser+。
同步下载示例 本章节案例中的所有命令均以Linux操作系统为例,提供同步下载操作指导。
OBS支持通过回调获取对象的系统参数和自定义参数,参数详情可参考API参考的回调章节。 图1 上传回调流程图 上传回调的详细流程如图1所示,主要分为以下几个阶段: 客户端发出上传对象请求,请求中携带回调参数。 OBS接收到客户端的上传请求,执行上传对象操作。
如果源桶是并行文件系统(POSIX),则目标桶不能是非并行文件系统。
例如,用户A上传对象x至用户B的桶中,系统默认用户B没有对象x的控制权。当用户A为对象x设置bucket-owner-full-control策略后,用户B就拥有了对象x的控制权。
OBS提供的以下资源包也同时支持并行文件系统: 表2 并行文件系统资源包说明 资源包 作用 使用限制 标准存储包(单AZ) 用于抵扣单AZ并行文件系统产生的标准存储数据容量费用。 只适用于单AZ并行文件系统产生的标准存储数据容量计费,且只能用于资源包所属区域。
设置图片瘦身 图片瘦身支持通过OBS控制台代码编辑模式和接口调用模式使用。 图片瘦身是对图片压缩功能的简化,操作原理为输出绝对质量为75%的图片。无需配置参数,通过操作命令即可完成图片瘦身。 操作名称:imageslim 仅支持对jpg格式的图片进行瘦身。 建议在其他图片处理操作后再进行图片瘦身
使用示例 以迁移HDFS上的“/data/sample”目录为例,执行以下命令查看HDFS文件系统上此目录下的文件与目录。
] macOS/Linux操作系统 .
图2 存算分离方案中的OBSFileSystem OBS服务支持对象存储桶(对象语义)和并行文件系统(POSIX文件语义),在大数据场景下建议选择并行文件系统。
须知: 建议使用引号传递该匹配模式(macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果。
前提条件 给用户组授权之前,请您了解用户组可以添加的OBS权限,并结合实际需求进行选择,OBS支持的系统权限,请参见:OBS系统权限。如果您需要对除OBS之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。
可能在11月10日当天,也可能在11月11日,这取决于系统的下一次扫描在何时进行。
这种情况下,系统会创建一个删除标记,并在响应中返回该删除标记的版本号。 用户发送带版本删除请求,即请求同时包含对象名以及版本号,但是该版本号标识一个删除标记。这种情况下,系统会删除此删除标记,并在响应中返回该删除标记的版本号。
系统策略 无 下表列出了OBS常用操作与系统权限的授权关系,您可以参照该表选择合适的系统权限。
剪切图片 普通剪切 此功能仅支持通过控制台代码编辑模式和接口调用模式使用。 可以设置图片上的任意一点为起始点,根据指定宽高进行图片剪切,剪切后的图片为矩形。具体说明如表1所示。 操作说明:crop 表1 普通剪切 参数 取值说明 代码样例 g 表示剪切起始原点位置。取值为tl、top
上传/下载性能优化 OBS Browser+对大于50MB的文件/对象默认采用分段方式进行上传/下载,与分段任务相关的参数都在“系统设置”->“基础设置”中。 表1 参数 描述 最大并行任务数 任务同时运行的最大数量,默认是3,取值范围是:1~50。
一个账号及账号下的所有IAM用户可创建的桶+并行文件系统的上限为100个。每个桶中存放的对象的数量和大小总和没有限制,用户不需要考虑数据的可扩展性。
须知: 建议使用引号传递该匹配模式(macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果。