检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
READ | WRITE TargetBucket 在生成日志时,源桶的owner可以指定一个目标桶,将生成的所有日志放到该桶中。在OBS系统中,支持多个源桶生成的日志放在同一个目标桶中,如果这样做,就需要指定不同的TargetPrefix以达到为来自不同源桶的日志分类的目的。 类型:String
CreateSignedUrl(putObjectInput) if err != nil { fmt.Println(err) return } fmt.Printf("SignedUrl:%s\n", putObjectOutput.SignedUrl)
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
指定Object版本的标签信息。如果对应版本为删除标记(Delete Marker),则OBS将返回404 Not Found。 并行文件系统不支持给文件设置标签。 每个对象最多能设置10个标签。 标签的键值约束: 键名(Key)区分大小写且必须唯一,不能为空且不能超过128个字符,不允许使用=*<>\
HTTP/1.1 关于PUT上传的更多详细信息,请参考PUT上传。 多版本 如果桶的多版本状态是开启的,系统会自动为对象生成一个唯一的版本号;如果桶的多版本状态是暂停的,则系统生成的对象版本号为null,并由响应报头x-obs-version-id返回该版本号。关于桶的多版本状态,参见设置桶的多版本状态。
用户发送不带版本删除请求,即请求只有对象名,无版本号。这种情况下,系统会创建一个删除标记,并在响应中返回该删除标记的版本号。 用户发送带版本删除请求,即请求同时包含对象名以及版本号,但是该版本号标识一个删除标记。这种情况下,系统会删除此删除标记,并在响应中返回该删除标记的版本号。 了解更多请参见删除OBS桶中的对象。
或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 上传对象加密 以下代码展示了在上传对象时使用服务端加密功能: 设置SSE-C方式下使用的密钥,请参考如何生成SSE-C方式的加密密钥。 更多关于服务端加密的内容请参考服务端加密SSE-C方式。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
ion权限。缺省情况下只有桶的所有者可以执行此操作,也可以通过设置桶策略或用户策略授权给其他用户。 有关权限控制的更多信息请参考《对象存储服务权限配置指南》的OBS权限控制概述章节。 请求消息样式 1 2 3 4 5 6 GET /?encryption HTTP/1.1 User-Agent:
Encode(callbackMap) if err != nil { fmt.Print(err) return } callbackVal := base64.StdEncoding.EncodeToString(callbackBuffer
5加密后都有唯一的ETag。 父节点:ListBucketResult.Contents 约束限制 当对象是服务端加密的对象时,ETag值不是对象的MD5值,而是通过服务端加密计算出的唯一标识。 取值范围: 长度为32的字符串。 默认取值: 无 Type String 参数解释:
由于日志文件是OBS产生,并且由OBS上传到存放日志的桶中,因此OBS需要获得委托授权,用于上传生成的日志文件,所以在配置桶日志管理前,需要先到统一身份认证服务生成一个对OBS服务的委托,并将委托名作为参数配置到桶上,并且在xml文件中<LoggingEnabled>标签下配置相应的日志管理功能。在为委托配置权限时只需设置目标桶的上传对象权限。
配置ModelArts和SFS Turbo间网络直通。 创建委托授权ModelArts云服务使用SFS Turbo。 配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4
FS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
响应消息头 该请求的响应消息使用公共消息头,具体请参考表1。 响应消息元素 该请求的响应消息中不带有响应元素。 错误响应消息 表2 对象存储访问服务错误码列表 错误码 描述 HTTP状态码 RestoreAlreadyInProgress 参数解释: 对象正在恢复,请求冲突。 ErrorMessage:
标签的键名(Key)和键值(Value)不能包含字符“,”、“*”、“|”、“/”、“<”、“>”、“=”、“\”以及ASCII码0x00--0x1F的控制字符,在发送到服务器之前,必须将键名(Key)和键值(Value)进行UrlEncode编码。 取值范围: 长度大于1小于36的字符串 默认取值: 无 Value
21K数据集。 说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 成本规划 OBS费用:详见OBS计费说明。 SFS Turbo费用:详见SFS计费说明。 ModelArts费用:详见ModelArts计费说明。
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,一个用户可以同时拥有多个接入键标识。对象存储服务系统通过接入键标识识别访问系统的用户。 SK:Secret Access Key,安全接入键,用户在对象存储服务系统中的安全接入键,是用户访问对象存储服务系统的密钥,用
跨区域复制 创建跨区域复制规则后,为什么对象没有复制到目标桶中? 删除对象操作会同步复制到跨区域复制的桶中吗?