检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
例行维护 SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满,会影响业务运行,您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况,并创建告警规则,当容量使用率超过一定阈值,可以发送邮件、短信等告警到运维人员。
创建SFS Turbo HPC型文件系统:创建1个SFS Turbo文件系统,文件系统类型选择“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 创建OBS桶:创建1个OBS桶,存储类别为“标准存储”,桶策略为“私有”。
在一个桶中可以存放多个对象,OBS系统并不能区分对象的文件类型。在OBS系统中存储的对象是被序列化了的,因此它可能是一个文本文件或者一个视频文件。
说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 成本规划 OBS费用:详见OBS计费说明。 SFS Turbo费用:详见SFS计费说明。
方案架构 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问
问题原因 请求中携带的签名与系统计算得到的签名不一致。 解决方法 检查endpoint 使用OBS SDK时需要检查此项。
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
403 Forbidden SignatureDoesNotMatch 请求中带的签名与系统计算得到的签名不一致。 检查你的Secret Access Key和签名计算方法。 403 Forbidden Unauthorized 用户未实名认证。 请实名认证后重试。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
示例代码常见问题 v3.23.9版本反映的常见示例代码问题 问题1: 找不到put_file_object_callback_data 代码 解决方案: 3.23.9版本中示例代码部分变量或函数缺失,可以在eSDK_OBS_API_C++_Demo中查找对应的定义,然后复制到业务代码中调用
签名不匹配报错处理 如果调用OBS API报如下错误: 状态码:403 Forbidden 错误码:SignatureDoesNotMatch 错误信息:The request signature we calculated does not match the signature
一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 如何选择区域?
使用前须知(Python SDK) 本文介绍Python SDK的版本变更,并提供版本兼容性说明,以及其他使用前须知。 变更及兼容性说明 如表1所示,本节将为您展示Python SDK的版本变更情况,以及当前版本是否兼容某个历史版本的说明,更多版本修订信息请参见:ChangeLog
(java) √ √ √ √ √ √ 计算POST表单鉴权参数 createPostSignature、createBrowserBasedSignature √ √ × × √ √ 支持Security Token鉴权 N/A √ √ √ √ √ √ 新特性 上传对象支持设置生命周期
str 参数解释: 表单中的signature。
方法定义 obsClient.createPostSignature(PostSignatureRequest request) 表1 createPostSignature请求参数 参数 类型 是否必选 描述 request PostSignatureRequest 是 参数解释
NAS存储提供给应用的是一个文件系统或者是一个文件夹,上层应用通过NFS和CIFS协议进行访问。文件系统要维护一个目录树。 对象存储更加适合web类应用,基于URL访问地址提供一个海量的桶存储空间,能够存储各种类型的文件对象,对象存储是一个扁平架构,无需维护复杂的文件目录。
创建的方法参见创建并行文件系统。 现象三:挂载并行文件系统时出现“The request signature we calculated does not match the signature you provided.