检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
每月重置时清零。 特殊情况说明:如果您在1月28日购买资源包,由于2月只有28天,则将会在3月1日00:00:00重置资源额度。在此之后,系统默认的重置时间将会变为次月的1日00:00:00。 父主题: 计费相关
SDK是否支持批量上传、下载或复制对象?(Java SDK) 不支持。 目前SDK暂未提供此类接口,您需要自己封装批量上传、下载或复制对象的业务代码。步骤如下: 列举出所有待上传、下载或者复制的对象。可参考列举对象章节,列举待下载的对象。 对列举出的对象调用单个对象的上传(上传对
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
/_common/下增加hdfs-site.xml,配置如下(其中endpoint按照桶所在的实际endpoint填写): 启动Druid服务。 父主题: 对接大数据组件
界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。 为了减少日志输出,在/opt/flink-1
多版本控制简介(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 OBS支持保存一个对象的多个版本,您可以利用多版本控制,在一个桶中保留多个版本的对象。 多版本功能可以方便地检索和还原各个版本,在意外操作或应用程序故障时快速恢复数据。
Cloudera CDH对接OBS 部署视图 安装版本 硬件:1Master+3Core(配置:8U32G,操作系统:CentOS 7.5) 软件:CDH 6.0.1 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。 并将OBS
对当前账号下多个IAM用户或用户群组授权 对IAM用户组授予OBS所有资源的所有操作权限 对IAM用户组授予OBS所有资源的基本操作权限 对IAM用户组授予OBS所有资源的指定操作权限 对IAM用户组授予OBS指定资源的指定操作权限 对IAM用户组授予OBS指定文件夹的指定操作权限
我可以上传同名对象到同一个文件夹中吗? 可以上传,但上传后的对象可能会覆盖原有同名对象: 如果开启了多版本控制,上传对象时,OBS自动为每个对象创建唯一的版本号。上传同名的对象将以不同的版本号同时保存在OBS中。 如果未开启多版本控制,向同一个文件夹中上传同名的对象时,新上传的对象将覆盖原有的对象。
为什么SDK源码中包含acs.amazonaws.com关键字?(Java SDK) OBS SDK 为了兼容访问aws s3服务,在源码中会包含acs.amazonaws.com关键字的固定格式,SDK仅作常量使用,不会向该格式有其他处理,也不会对其访问。SDK会自动兼容该场景,用户可不感知。比如Java
如何在不支持window.File的浏览器上传文件? 在不支持window.File的浏览器上(例如低版本的IE浏览器),不能使用ObsClient.putObject或ObsClient.uploadFile上传对象,如果要支持这类浏览器上传,请参考基于表单上传。 父主题: FAQ
对所有账号授予桶的公共读权限 场景介绍 当某个桶需要授权所有账号访问权限时,可以通过桶策略和桶ACL配置授予所有账号访问桶的权限。本示例以桶策略为例。 配置须知 本案例预置的“公共读”模板允许所有账号(所有互联网用户)对整个桶及桶内所有对象执行以下权限: HeadBucket:判断桶是否存在、获取桶元数据
OBS的文件夹与文件系统的文件夹是否一样? 不一样。 OBS并没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据,OBS提供了一种方式模拟文件夹。实际上在OBS内部是通过在对象的名称中增加“/”,将该对象在OBS管理控制台上模拟成一个文件夹的形式展现。 父主题: 产品咨询
触发器配置不当导致“无限循环”触发Data+工作流如何处理? 由于OBS只能按触发器前缀、后缀、事件源类型等条件触发Data+工作流,无法保证触发消息不出现“无限循环”的场景。如果出现“无限循环”,只能先删除桶的事件触发器。主要有以下两个场景: 场景1:触发器源桶和函数执行输出目标桶是同一个桶的无限循环
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差
OBS Browser+与OBS Browser的不同之处? OBS Browser+是OBS Browser的升级版,提供全新的UI界面,提供多种登录登出方式,全新的用户体验;OBS Browser+比OBS Browser性能更优,效率更高,体验更佳。 父主题: 常见问题
当按前缀配置时,如果指定的前缀名与某条已配置的生命周期规则指定的前缀名存在包含关系,OBS会将两条规则视为同一条,而禁止您配置本条规则。例如,系统中已存在指定前缀名为“abc”的规则,则不允许再配置指定前缀包含“abc”字段的规则。 如果已存在按前缀配置的生命周期规则,则不允许再新增配置到整个桶的规则。
对其他账号授予指定对象的读权限 场景介绍 本案例介绍如何为其他账号授予OBS桶中某个对象或某类对象的读权限。这里的账号指华为云账号本身,不包含账号下的IAM用户,如果要为IAM用户授权,请参见对其他账号下的IAM用户授予桶和桶内资源的访问权限。 推荐配置方法 对其他账号授权,推荐使用桶策略。
SDK上传超过5GB的大文件失败 OBS服务端上传对象接口有规格限制,单次可上传的最大文件为5GB,如果需要上传超过5GB的大文件,需要通过OBS服务端提供的分段上传接口实现。具体步骤为: 调用OBS服务端初始化上传段任务接口,生成分段上传ID(Upload ID)。 调用OBS服务端上传段接口,逐个或并行上传段,每个段最大可支持5GB。