检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SDK上传超过5GB的大文件失败 OBS服务端上传对象接口有规格限制,单次可上传的最大文件为5GB,如果需要上传超过5GB的大文件,需要通过OBS服务端提供的分段上传接口实现。具体步骤为: 调用OBS服务端初始化上传段任务接口,生成分段上传ID(Upload ID)。 调用OBS服务端上传段接口,逐个或并行上传段,每个段最大可支持5GB。
是否可以同时装两个不同站点的OBS Browser+工具? 不可以。 一个系统中只允许安装一个版本的OBS Browser+工具。 不同局点提供的OBS Browser+工具可能支持的功能不一致。 因此,如果您想使用某一个局点的OBS请下载相应局点的OBS Browser+工具。
使用IE浏览器访问带有中文字符的对象URL地址报错如何处理? 问题描述 使用IE浏览器访问带有中文字符的对象URL地址,报HTTP 400错误。 处理思路 IE浏览器默认不是使用UTF-8发送查询字符串,修改IE浏览器的默认配置可以解决此问题。 处理步骤 打开IE浏览器(以IE 11为例)。
针对同一个对象或桶的操作,比如多个客户端对同一个对象并行上传、查询和删除时,具体操作结果依赖于操作到达系统的时间和系统内部处理的时延,可能返回不一致的结果。比如,当多个客户端并行上传同一个对象时,系统最后收到的上传请求会覆盖前一个上传的对象。 详情请参考并发一致性说明。 父主题: API和SDK等开发者相关
Hortonworks HDP对接OBS 部署视图 安装版本 硬件:1master+3core(配置:8U32G,操作系统:CentOS 7.5) 软件:Ambari:2.7.1.0,HDP:3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。
Cloudera CDH对接OBS 部署视图 安装版本 硬件:1Master+3Core(配置:8U32G,操作系统:CentOS 7.5) 软件:CDH 6.0.1 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。 并将OBS
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
为什么我运行了百万级别的任务后,感觉任务执行较慢? 这是因为: OBS Browser+中任务数量达到了百万级别及以上,系统会处于海量查找的状态中,对您机器的性能要求比较高。 建议您: 为了提升您的体验,建议清理历史任务数据。 清理方法是在任务管理窗口,选中已完成任务然后删除,如图1所示。
对其他账号授予指定对象的指定操作权限 场景介绍 本案例介绍如何为其他账号授予OBS桶中指定对象的指定操作权限,此处以授予下载对象的权限为例。 如果需要配置其他指定的权限,在桶策略的动作名称中选择对应动作即可。OBS支持的动作 这里的账号指华为云账号本身,不包含账号下的IAM用户,
FS文件系统的相关接口实现,让大数据计算引擎(Hive、Spark等)可以将OBS作为HDFS协议的底层存储。 图2 存算分离方案中的OBSFileSystem OBS服务支持对象存储桶(对象语义)和并行文件系统(POSIX文件语义),在大数据场景下建议选择并行文件系统。并行文件
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台
OBS Browser+支持迁移OBS Browser保存的账号信息和任务信息吗? OBS Browser+ 只支持将OBS Browser保存的账号信息迁移过来,不支持迁移任务信息;同时,OBS Browser+只支持迁移一次,不支持增量迁移;因此,强烈推荐您后期一直使用OBS
为什么通过自定义域名访问桶,提示NoSuchBucket,而通过OBS访问域名可以访问? 您在配置OBS桶的自定义域名后没有完成CNAME解析。 配置OBS桶的自定义域名分为两步: 配置自定义域名:实现OBS桶域名和自定义域名绑定。 配置解析CNAME:实现OBS桶域名和自定义域名的映射。
”为例 策略内容 【权限1】 选择“允许” 选择“对象存储服务 (OBS)” 勾选“列表”操作中的“obs:bucket:ListAllMyBuckets” 选择“所有资源” 【权限2】 选择“允许” 选择“对象存储服务 (OBS)” 勾选“列表”操作中的“obs:bucket:ListBucket”
列举桶内对象返回的大小与控制台桶内对象大小不一致 通过obsutil列举桶内全量对象时最终输出结果中还会包含对象的总的大小,如果通过列举操作返回的对象大小与通过控制台、OBSBrowser+工具查询的桶使用情况不一致时可以从如下两点进行排查: OBSBrowser+和控制台均通过
Browser+时,“服务提供商”和“服务器地址”需要按照以下要求填写: 服务提供商:选择“其他对象存储服务”。 服务器地址:根据ECS所在区域输入OBS在此区域的终端节点(Endpoint)和端口号(HTTPS协议端口号为“443”,HTTP协议端口号为“80”。系统默认服务器为HTTPS服务器)。
MapReduce服务(MRS)、Cloudera CDH和Hortonworks HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(MRS)是华为云提供的大数据服务,可以在华为云上部署和管理Hadoop系统,一键即可部署Hadoop集群。
为什么SDK源码中包含acs.amazonaws.com关键字?(Node.js SDK) OBS SDK 为了兼容访问aws s3服务,在源码中会包含acs.amazonaws.com关键字的固定格式,SDK仅作常量使用,不会向该格式有其他处理,也不会对其访问。SDK会自动兼容该场景,用户可不感知。比如Node
在Linux环境中访问OBS报错:requires a valid Date or x-obs-date header(C SDK) 问题根因: Linux环境变量(env命令)中,LANG变量值为zh_CN.UTF-8,请求头Date会包含中文,例如“三,04 9月 2024 10:41:39
设置桶日志后,进行图片处理,发现有100网段的ip访问桶 用户开启了桶日志配置,在对桶里的对象进行图片处理后,查看桶的访问日志,发现有100网段的ip访问了该桶。 原因是:在进行图片处理的过程中,OBS会通过内网访问客户的桶来下载原图并进行图片处理,此时内网ip会被记录到桶日志中,同时会产生下载次数的计费。