检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Header中携带签名 功能介绍 OBS的所有API接口都可以通过在header中携带签名方式来进行身份认证,也是最常用的身份认证方式。如图1所示,在Header中携带签名是指将通过HTTP消息中Authorization header头域携带签名信息。 图1 Header中携带签名示例
默认取值: 无 SseHeader SseCHeader 或 SseKmsHeader 参数解释: 服务端加密头信息,选择SSE-C加密方式,则详见SseCHeader,选择SSE-KMS加密方式,则详见SseKmsHeader。 WebsiteRedirectLocation string
-s /opt/cloudera/parcels/CDH-6.0.1-1.cdh6.0.1.p0.590678/jars/hadoop-huaweicloud.jar /opt/cloudera/cm/cloudera-navigator-server/libs/cdh6/hadoop-huaweicloud
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。更多内容请参考管理SFS Turbo文件系统与OBS桶的存储联动。 登录SFS管理控制台,在左侧导航窗格中选择“SFS
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
前提条件 已通过OBS管理控制台设置匿名用户读取该指定对象的权限。对象ACL权限设置请参考ACL章节。 操作步骤 登录OBS Browser+。 选中待配置的对象,单击需要共享的对象右侧的图标,如下图1、图2所示。 图1 分享文件 图2 分享文件夹 单击“复制链接”,将该对象链
String> userHeaders = new HashMap<>(); // 上传对象时通过自定义头域设置referer userHeaders.put("referer","https://example
管理桶 获取桶元数据 判断桶是否存在 删除桶 管理桶ACL 管理桶策略 获取桶区域位置 获取桶存量信息 桶配额 桶存储类型
联sfsturbo”。 在“关联sfsturbo”弹窗中,选择创建资源中创建的SFS Turbo HPC型文件系统。 图2 关联SFS Turbo 选择完成后,单击“确定”创建关联。 使用过程中请不要解除关联,解除关联会导致ModelArts资源池无法访问SFS Turbo文件系统中的数据。
针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问,并将生成的结果数据异步持久化到OBS对象存储中长期低成本保存。
下载OBS Browser+ 针对不同操作系统,OBS Browser+下载地址如表1所示。 表1 下载列表 支持平台 软件包下载地址 SHA256校验和 Windows x32 OBSBrowserPlus-win32 4f282d8ebf1f41a49a16265a0a568
Browser+适用于Windows10,Windows Server2016以及MacOS平台。各操作系统的规格要求如表1所示。您可以单击这里获取用于不同操作系统的OBS Browser+的下载地址和安装方法。 OBS Browser+中任务数量达到了百万级别及以上,系统会处于海量查找的状态中
支持批量上传、下载、删除、复制、移动等。 支持拖拽上传。 定时上传。 并行文件系统基本操作 支持并行文件系统的基本操作,包括列举并行文件系统,查询并行文件系统的基本信息、并行文件系统ACL、碎片管理、删除并行文件系统等。 并行文件系统中对象基本操作 支持并行文件系统中对象的基本操作,包括新建文件夹,上传对象,列举对象、下载对象、删除对象等。
WED, 01 Jul 2015 02:34:34 GMT Content-Length: 0 Server: OBS 请求示例 4 拒绝除了某个指定的域名和不带referer头域的外链请求以实现防盗链白名单 防盗链白名单:http://console.huaweicloud.com
createPostSignatureSync生成基于表单上传的请求参数。使用BrowserJS代码模拟表单上传的完整代码示例,参见post-object-sample。您也可以通过如下步骤进行表单上传: 使用ObsClient.createPostSignatureSync生成用于鉴权的请求参数。
卸载OBS Browser+ 卸载OBS Browser+的操作步骤如下: 在Windows系统的“控制面板 > 程序 >程序和功能”中,找到“obs-browser-plus xxx”。 单击右键,选择“卸载”。 根据提示完成卸载。
BrowserJS SDK提供了丰富的示例程序,方便用户参考或直接使用。 您可以从OBS BrowserJS SDK开发包中获取示例程序。 下载eSDK_Storage_OBS_<VersionId>_BrowserJS.zip,解压后eSDK_Storage_OBS_<Versio
方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中。数据预热功能的
return ''; } var browserInfo = getBrowserInfo(); // 判断浏览器是否支持window.File var isSupportFileApi = browserInfo !== 'IE/7' && browserInfo !==
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 文件导出速度受OBS服务的写入带宽上