检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SFS Turbo规格类问题 在SFS Turbo文件系统中存放的单个文件最大支持多少 每个账号最多可以创建多少个SFS Turbo文件系统
SFS Turbo挂载类问题 同时挂载至两个服务器的SFS Turbo文件系统数据存在延时怎么办 SFS Turbo文件系统可以跨区域挂载吗 SFS Turbo文件系统可以跨账号挂载使用吗 一个SFS Turbo文件系统最多支持同时挂载到多少台云服务器上 如何使用非root的普通用户挂载文件系统到
SFS Turbo访问类问题 SFS Turbo文件系统可以跨VPC访问吗 如何从云服务器访问SFS Turbo文件系统 可以直接从云下访问高性能弹性文件服务吗
fio --version 文件系统性能数据 SFS Turbo文件系统的性能主要有IOPS和吞吐量等指标,具体各指标数据参见表1。
解决方法 如果已挂载文件系统,请先参考卸载SFS Turbo文件系统完成卸载操作。 参考挂载SFS Turbo文件系统到Linux云服务器完成挂载前准备。 挂载文件系统时,使用如下命令进行挂载。
SFS Turbo数据迁移实践 SFS Turbo数据迁移实践方案概述 通过云专线迁移数据至SFS Turbo(rclone工具) 通过跨服务器迁移数据至SFS Turbo(rclone工具) 通过云专线迁移数据至SFS Turbo(rsync工具) 文件系统之间迁移数据
SFS Turbo其他类问题 VPC的安全组是否影响高性能弹性文件服务的使用 高性能弹性文件服务会占用用户的哪些资源 如何确认Linux云服务器上的SFS Turbo文件系统处于可用状态 可以将SFS Turbo标准型文件系统升级为性能型文件系统吗 SFS Turbo文件系统支持多可用区吗
SFS Turbo迁移类问题 如何在高性能弹性文件服务SFS Turbo和对象存储服务OBS之间进行数据迁移 如何将SFS Turbo部署至CCE SFS Turbo文件系统中的数据可以跨区域迁移吗 如何在高性能弹性文件服务SFS Turbo和云硬盘EVS之间进行数据迁移
文件系统出现异常状态 目前文件系统异常状态主要为扩容错误,当处于这种状态时,请参考下面处理建议。 表1 文件系统状态异常处理建议 异常状态 建议 扩容错误 当文件系统处于扩容错误状态,文件系统可自动恢复到可用状态。如果不能恢复到可用状态,请联系管理员解决。
如何在高性能弹性文件服务SFS Turbo和云硬盘EVS之间进行数据迁移 将文件系统和云硬盘同时挂载至同一云服务器上,再手动进行数据复制即可。 父主题: SFS Turbo迁移类问题
生命周期管理接口 表1 生命周期管理接口 接口 说明 创建文件系统 该接口可以创建文件系统。 查询文件系统详细信息 该接口可以查询SFS Turbo文件系统详细信息。 删除文件系统 该接口可以删除文件系统。 获取文件系统列表 该接口可以获取文件系统列表。
SFS Turbo提供创建、查看、删除等基本功能,帮助您便捷的进行文件系统管理。 全部 目录配额 SFS Turbo目录配额功能可以帮助您轻松管理目录级配额,包括添加配额、修改配额、删除配额和查询配额。 全部 权限管理 SFS Turbo通过IAM权限方式进行权限管理。
API 生命周期管理 连接管理 共享标签 名称管理 文件系统管理 存储联动管理 目录管理 权限管理 任务管理 运营管理 查询文件系统类型和配额
注意和说明 SFS Turbo时延性能依赖于NFS客户端与SFS Turbo之间的网络时延。NFS客户端与SFS Turbo处于同一VPC下,才能达到标准的时延性能。 安装fio 以Linux CentOS系统为例说明: 在官网下载fio。
提升Linux操作系统单客户端访问SFS Turbo的性能 操作场景 nconnect是Linux操作系统下NFS客户端的挂载参数,开启后支持NFS客户端与服务端之间建立多条TCP连接来提升吞吐性能。 前提条件 Linux内核为5.3及以上版本。
说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 成本规划 OBS费用:详见OBS计费说明。 SFS Turbo费用:详见SFS计费说明。
操作前提 已在云上和本地分别创建一台Linux操作系统的服务器。 服务器已完成弹性IP的配置,保证两台服务器间可以相互访问。 已创建SFS Turbo文件系统,并获取到文件系统的挂载地址。 已经获取到本地NAS存储的挂载地址。 操作步骤 登录弹性云服务器管理控制台。
如何在Linux系统中删除大量文件或文件夹 当文件数量过多时,您可以使用以下常用方式删除大量文件或文件夹,提高删除速度和预防文件系统卡顿。 rm命令 删除当前目录下所有文件:“*”代表当前目录下所有文件。
SFS Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。
原生Pytorch系框架在保存checkpoint时均直接持久化到存储系统,耗时与模型大小、存储的IO性能等密切相关,往往需要几分钟到几十分钟不等,为了保证训练状态的一致性,保存checkpoint时训练必须暂停,保存时间影响了训练过程的整体效率。