检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
父主题: 如何调用SFS容量型/SFS Turbo API
SFS Turbo授权项分类 文件系统 权限 对应API接口 授权项 依赖的授权项 IAM项目 (Project) 企业项目 (Enterprise Project) 创建文件系统 POST /v1/{project_id}/sfs-turbo/shares sfsturbo:shares
如何调用SFS容量型/SFS Turbo API 构造请求 认证鉴权 返回结果
URI POST /v1/{project_id}/sfs-turbo/{share_id}/tags 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 操作用户的项目ID share_id 是 String 共享ID 请求参数 表2 请求Header
方案架构 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问
表1 资源规划 产品 配置示例 说明 弹性云服务器 ECS 规格:8vCPUs | 16GB | c7.2xlarge.2 操作系统:Linux 区域:华北-北京四 VPC名称:VPC1 已创建/mnt/src和/mnt/dst的目录 操作步骤 登录弹性云服务器管理控制台。
在未清理文件系统的情况下直接删除pvc/pv,请到通用文件系统侧查看文件系统是否已删除。 使用通用文件系统作为后端存储时,删除pvc/pv过程存在时延,删除过程会进行计费,请以通用文件系统侧删除时间为准。 生命周期管理策略限制 单个文件系统下最多可配置20条生命周期管理规则。
已创建一台操作系统为Linux的云服务器。 已创建SFS Turbo文件系统,并获取到文件系统的挂载地址。 已经获取到本地NAS存储的挂载地址。 操作步骤 登录弹性云服务器管理控制台。
父主题: 如何调用SFS容量型/SFS Turbo API
父主题: 如何调用SFS容量型/SFS Turbo API
在SFS控制台页面开通自动续费 SFS Turbo文件系统:您可以在购买包年/包月文件系统页面开通自动续费,如图1所示。 图1 SFS Turbo文件系统自动续费配置 通用文件系统:您可以在购买资源包页面开通自动续费,如图2所示。
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
SFS容量型文件系统、通用文件系统、SFS Turbo文件系统计费项都是存储空间费用;其中SFS Turbo文件系统的HPC缓存型除存储空间计费外,还可以按“带宽大小”计费项来计费。
手动续费 包年/包月文件系统从购买到被自动删除之前,您可以随时为文件系统续费,以延长文件系统的使用时间。 在云服务控制台续费 登录弹性文件服务管理控制台。 登录管理控制台。 单击管理控制台左上角的,选择区域。 单击左侧导航栏的图标,选择“存储 > 弹性文件服务 SFS”。
如果需要将云下日志文件上传至SFS Turbo文件系统中,请参考通过云专线迁移数据至弹性文件服务。 已开通弹性文件服务。 配置参考 登录弹性文件服务管理控制台。 在左侧导航栏,选择“SFS容量型”。在页面右上角单击“创建文件系统”。 在创建文件系统页面,根据界面提示配置参数。
通过备份创建SFS Turbo新文件系统,只能创建按需计费的文件系统,创建不了包年/包月文件系统。如果需要创建包年/包月文件系统,可以先创建按需的实例,创建完成后,通过按需转包周期的选项转成包年/包月计费模式的文件系统。 登录云备份管理控制台。 登录管理控制台。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
文件系统类型 弹性文件服务提供了SFS容量型、通用文件系统和SFS Turbo三种类型的文件系统。 以下表格介绍了各类型文件系统的特点、优势及应用场景。
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
SFS Turbo文件系统支持通过虚拟私有云的VPC对等连接功能,将同区域的两个或多个VPC互连以使这些VPC互通,则实际上不同的VPC便处于同一个网络中,归属于这些VPC下的云服务器也能共享访问同一个文件系统。更多关于VPC对等连接功能信息请参见VPC对等连接。