检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
fio --version 文件系统性能数据 SFS Turbo文件系统的性能主要有IOPS和吞吐量等指标,具体各指标数据参见表1。
只能在ECS/BMS中挂载使用,不能被操作系统应用直接访问,需要格式化成文件系统进行访问。 使用场景 如高性能计算、媒体处理、文件共享和内容管理和Web服务等。 说明: 高性能计算:主要是高带宽的需求,用于共享文件存储,比如基因测序、图片渲染这些。
注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 请在SFS Turbo无业务的情况下进行性能测试。以免因业务占用底层资源,导致测试性能无法达到预期。 安装fio 以Linux CentOS系统为例说明: 在官网下载fio。
文件系统之间迁移数据 方案概述 用户可以将SFS容量型文件系统中的数据迁移至SFS Turbo文件系统中,也可以将SFS Turbo文件系统中的数据迁移至SFS容量型文件系统中,进行云上业务拓展。
如果您想通过API调用完成文件系统权限管理,请参考《高性能弹性文件服务API参考》权限管理章节。 登录SFS Turbo管理控制台。 在SFS Turbo文件系统列表中,找到待添加授权地址的SFS Turbo文件系统并单击目标文件系统名称,进入文件系统详情界面。
管理SFS Turbo文件系统与OBS桶的存储联动 概述 AI训练和推理、高性能数据预处理、EDA、渲染、仿真等场景下,您可以通过SFS Turbo文件系统来加速OBS对象存储中的数据访问。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象。
设置配额 登录SFS Turbo弹性文件服务管理控制台。 左侧导航栏选择“SFS Turbo>文件系统列表”,进入SFS Turbo文件系统列表页面。 在SFS Turbo文件系统列表页,单击指定SFS Turbo文件系统的名称,进入详情界面。
备份恢复 专属文件存储服务支持CBR备份,基于备份可以恢复文件存储系统。 监控文件系统 对接云监控,支持带宽、IOPS、容量等多种监控指标。 审计文件系统 支持通过云审计服务对资源的操作进行记录,以便用户可以查询、审计和回溯。
文件系统之间迁移数据 方案概述 用户可以将SFS容量型文件系统中的数据迁移至SFS Turbo文件系统中,也可以将SFS Turbo文件系统中的数据迁移至SFS容量型文件系统中,进行云上业务拓展。
save_checkpoint/load_checkpoint from aiturbo.checkpoint.training.Megatron import save_checkpoint, load_checkpoint 父主题: SFS Turbo文件系统
父主题: SFS Turbo文件系统数据迁移
使用场景与文件系统类型不匹配 结合业务场景,参考文件系统类型,选择正确的文件系统类型。 SFS容量型文件系统容量较小 SFS容量型文件系统的性能与容量相关:20MB/TB,100TB的文件系统最大带宽为2GB,如需更大带宽则需要购买更大容量的文件系统。
SFS Turbo文件系统 管理SFS Turbo文件系统与OBS桶的存储联动 配置Active Directory 配置LDAP域 管理SFS Turbo目录配额 加密传输 管理SFS Turbo文件系统权限 通过AITurbo加速保存与加载checkpoint
如果希望使用另一种规格的SFS Turbo文件系统,不再需要使用之前规格的文件系统,可以先将原文件系统删除/退订后,重新购买新规格的SFS Turbo文件系统。或者购买新规格的SFS Turbo文件系统后,完成文件系统之间的数据迁移,再将原文件系统删除/退订即可。
前提条件 已创建SFS Turbo文件系统,并获取到文件系统的挂载地址。创建SFS Turbo文件系统的步骤请参见创建SFS Turbo文件系统,挂载SFS Turbo文件系统到云服务器的步骤请参见挂载SFS Turbo文件系统。 已提前创建迁移集群,创建步骤请参见创建集群。
方案架构 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问
SFS Turbo文件系统数据迁移 方案概述 通过MGC将OBS桶内数据迁移至SFS Turbo 通过MGC批量迁移数据至SFS Turbo 通过云专线迁移(rclone工具) 跨服务器迁移(rclone工具) 通过云专线迁移(rsync工具) 文件系统之间迁移数据
SFS Turbo文件系统状态 SFS Turbo文件系统状态要素说明 返回值 说明 100 CREATING,正在创建。 200 ACTIVE,激活状态,SFS Turbo文件系统可挂载。 300 FAILED,失败。 303 CREATE_FAILED,创建失败。
stunnel会监听本地端口,并将发到其上的流量加密转发到SFS Turbo文件系统,要使用加密传输功能需要先安装stunnel。
SFS容量型文件系统暂时不支持跨区域挂载。文件系统只能挂载至同一区域的弹性云服务器上。 通用文件系统不支持跨区域挂载。 SFS Turbo支持同区域(region)下跨可用区(AZ)挂载。