检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
例行维护 SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满,会影响业务运行,您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况,并创建告警规则,当容量使用率超过一定阈值,可以发送邮件、短信等告警到运维人员。
创建SFS Turbo HPC型文件系统:创建1个SFS Turbo文件系统,文件系统类型选择“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 创建OBS桶:创建1个OBS桶,存储类别为“标准存储”,桶策略为“私有”。
在一个桶中可以存放多个对象,OBS系统并不能区分对象的文件类型。在OBS系统中存储的对象是被序列化了的,因此它可能是一个文本文件或者一个视频文件。
说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 成本规划 OBS费用:详见OBS计费说明。 SFS Turbo费用:详见SFS计费说明。
问题原因 请求中携带的签名与系统计算得到的签名不一致。 解决方法 检查endpoint 使用OBS SDK时需要检查此项。
403 Forbidden SignatureDoesNotMatch 请求中带的签名与系统计算得到的签名不一致。 检查你的Secret Access Key和签名计算方法。 403 Forbidden Unauthorized 用户未实名认证。 请实名认证后重试。
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
代码示例常见问题(C SDK) v3.23.9版本反映的常见代码示例问题 问题1:找不到put_file_object_callback_data 代码 解决办法: 3.23.9版本中代码示例部分变量或函数缺失,可以在eSDK_OBS_API_C++_Demo中查找对应的定义,然后复制到业务代码中调用
签名不匹配报错处理 如果调用OBS API报如下错误: 状态码:403 Forbidden 错误码:SignatureDoesNotMatch 错误信息:The request signature we calculated does not match the signature
一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 如何选择区域?
表1 Python SDK版本变更及兼容性说明 版本 变更类型 说明 是否兼容 v3.24.3 问题修复 优化部分代码实现。 是 v3.23.12 问题修复 修复putFile上传文件夹时可能导致contentType不一致问题。
(java) √ √ √ √ √ √ 计算POST表单鉴权参数 createPostSignature、createBrowserBasedSignature √ √ × × √ √ 支持Security Token鉴权 N/A √ √ √ √ √ √ 新特性 上传对象支持设置生命周期
您可以通过ObsClient.createPostSignature生成基于表单上传的请求参数。使用代码模拟表单上传的完整代码示例,参见PostObjectSample。
可以通过ObsClient.createPostSignature生成基于表单上传的请求参数。使用代码模拟表单上传的完整代码示例,参见post_object_sample。
创建的方法参见创建并行文件系统。 现象三:挂载并行文件系统时出现“The request signature we calculated does not match the signature you provided.
NAS存储提供给应用的是一个文件系统或者是一个文件夹,上层应用通过NFS和CIFS协议进行访问。文件系统要维护一个目录树。 对象存储更加适合web类应用,基于URL访问地址提供一个海量的桶存储空间,能够存储各种类型的文件对象,对象存储是一个扁平架构,无需维护复杂的文件目录。
默认取值: 无 代码示例 本示例用于列举所有并行文件系统列表 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37