检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
原生Pytorch系框架在保存checkpoint时均直接持久化到存储系统,耗时与模型大小、存储的IO性能等密切相关,往往需要几分钟到几十分钟不等,为了保证训练状态的一致性,保存checkpoint时训练必须暂停,保存时间影响了训练过程的整体效率。
提升单客户端访问SFS Turbo的性能(Linux) 操作场景 nconnect是Linux操作系统下NFS客户端的挂载参数,开启后支持NFS客户端与服务端之间建立多条TCP连接来提升吞吐性能。 前提条件 Linux内核为5.3及以上版本。
SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
计费项 高性能弹性文件服务的不同计费项,如20MB/s/TiB、40MB/s/TiB、125MB/s/TiB都可按需计费,计费因子都是存储空间,SFS Turbo文件系统的HPC缓存型还可以按“带宽大小”来计费。了解每种计费项的计费因子、计费公式等信息,请参考计费项。
注意和说明 SFS Turbo时延性能依赖于NFS客户端与SFS Turbo之间的网络时延。NFS客户端与SFS Turbo处于同一VPC下,才能达到标准的时延性能。 安装fio 以Linux CentOS系统为例说明: 在官网下载fio。
客户端与SFS Turbo服务端时钟不一致会导致的问题 问题: 客户端与SFS Turbo服务端时钟不一致,会导致SFS Turbo文件系统里的文件与时间有关的元数据(访问时间、修改时间、状态修改时间)与客户端上的操作时间不吻合,可能会造成cmake编译失败。
将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。
高性能弹性文件服务会占用用户的哪些资源 为保证SFS Turbo文件系统能够正常使用,SFS Turbo文件系统将会占用用户以下资源。 创建或扩容SFS Turbo文件系统时,会在用户填写的子网下创建多个私有IP和虚拟IP。
退订操作请参见删除SFS Turbo文件系统。 如果您已开启“自动续费”功能,为避免继续产生费用,请在自动续费扣款日(默认为到期前7日)之前关闭自动续费。
停售影响 正式停售后,用户将无法再新购买SFS Turbo 标准型-增强版、性能型-增强版规格,推荐您在相应区域购买SFS Turbo其他规格文件系统:20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/
这里文件系统提示的报错是 Permission denied,实际上是由于该子目录不存在导致的。 图1 无子目录挂载 解决方法 如遇到以上问题,应该先挂载根目录,然后创建子目录后再对子目录进行挂载。 图2 挂载子目录 父主题: SFS Turbo挂载类问题
文件系统状态为“可用”。 操作步骤 登录高性能弹性文件服务管理控制台。 登录管理控制台。 单击管理控制台左上角的,选择区域。 单击左侧导航栏的图标,选择“存储 > 弹性文件服务 SFS”。 在SFS Turbo文件系统列表页,选中目标SFS Turbo文件系统。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。
可以直接从云下访问高性能弹性文件服务吗 SFS Turbo支持通过IDC专线或其他方式建立通信后,可以从云下访问SFS Turbo文件系统。 父主题: SFS Turbo访问类问题
SFS Turbo概念类问题 什么是高性能弹性文件服务SFS Turbo 高性能弹性文件服务支持哪些访问协议
使用前必读 概述 欢迎使用高性能弹性文件服务(Scalable File Service Turbo,SFS Turbo)。
图1 输入gpedit.msc 在“本地组策略编辑器”界面,选择“计算机配置 > 管理模板”。如图2所示。 图2 本地组策略编辑器 在“管理模板”下,选择“网络 > Lanman工作站”,找到“启用不安全的来宾登录”。如图3所示。 图3 找到目标 双击“启用不安全的来宾登录”。
方案架构 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问
SFS Turbo计费类问题 如何购买高性能弹性文件服务SFS Turbo 如何进行续费 如何查看是否欠费
支持文件系统挂载的操作系统 已通过兼容性测试的操作系统如表1所示。