检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SFS Turbo性能类问题 如何发挥SFS Turbo文件系统的最大性能?
SFS Turbo删除类问题 如何删除.nfs类型的文件? 如何提高SFS Turbo文件系统复制和删除操作的效率?
SFS Turbo数据迁移实践 SFS Turbo数据迁移实践方案概述 通过云专线迁移数据至SFS Turbo(rclone工具) 通过跨服务器迁移数据至SFS Turbo(rclone工具) 通过云专线迁移数据至SFS Turbo(rsync工具) 文件系统之间迁移数据
SFS Turbo迁移类问题 如何在高性能弹性文件服务SFS Turbo和对象存储服务OBS之间进行数据迁移? 如何将SFS Turbo部署至CCE? SFS Turbo文件系统中的数据可以跨区域迁移吗? 如何在高性能弹性文件服务SFS Turbo和云硬盘EVS之间进行数据迁移?
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。
SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
提升单客户端访问SFS Turbo的性能(Linux) 操作场景 nconnect是Linux操作系统下NFS客户端的挂载参数,开启后支持NFS客户端与服务端之间建立多条TCP连接来提升吞吐性能。 前提条件 Linux内核为5.3及以上版本。
为保证SFS Turbo文件系统能够正常使用,SFS Turbo文件系统将会占用用户以下资源。 创建或扩容SFS Turbo文件系统时,会在用户填写的子网下创建多个私有IP和虚拟IP。
支付成功后,系统自动扣除欠费。 更多关于续费的信息(自动续费、导出续费清单、变更资费等)请参考续费管理。 有关订单、退订、优惠券、消费明细等更多信息请参考费用中心帮助文档。 父主题: SFS Turbo计费类问题
安全组端口开放规则如下: 为了确保SFS Turbo能够被您的弹性云服务器访问,在成功创建SFS Turbo后,系统将自动放通SFS Turbo中NFS协议需要的安全组端口,以免文件系统挂载失败。NFS协议所需要入方向的端口号为111、2049、2051、2052、20048。
这里文件系统提示的报错是 Permission denied,实际上是由于该子目录不存在导致的。 图1 无子目录挂载 解决方法 如遇到以上问题,应该先挂载根目录,然后创建子目录后再对子目录进行挂载。 图2 挂载子目录 父主题: SFS Turbo挂载类问题
文件系统挂载超时 现象描述 使用mount命令挂载文件系统到云服务器,云服务器系统提示“timed out”。 可能原因 原因1:网络状态不稳定。 原因2:网络连接异常。 定位思路 排除网络问题后,重试挂载命令。 解决方法 原因1和原因2:网络状态不稳定;网络连接异常。
先将文件系统挂载至根目录上,完成创建子目录后,卸载文件系统,再重新将文件系统挂载至子目录上即可。
原生Pytorch系框架在保存checkpoint时均直接持久化到存储系统,耗时与模型大小、存储的IO性能等密切相关,往往需要几分钟到几十分钟不等,为了保证训练状态的一致性,保存checkpoint时训练必须暂停,保存时间影响了训练过程的整体效率。
SFS Turbo的文件系统需要挂载到弹性云服务器、容器或裸金属服务器上,对于SFS Turbo和OBS之间的数据迁移,可以理解为服务器与OBS或者容器与OBS之间的数据迁移,其中服务器或容器中的数据存放在所挂载的SFS Turbo文件系统中。
前提条件 给用户组授权之前,请您了解用户组可以添加的SFS Turbo系统策略,并结合实际需求进行选择,SFS Turbo支持的系统策略及策略间的对比,请参见:SFS Turbo系统权限。
父主题: SFS Turbo概念类问题
SFS Turbo支持通过IDC专线或其他方式建立通信后,可以从云下访问SFS Turbo文件系统。 父主题: SFS Turbo访问类问题
通过mount方式挂载访问SFS Turbo,将本地NAS存储中的数据迁移至SFS Turbo。
图1 排查思路 表1 排查思路 可能原因 处理措施 文件系统和挂载的服务器不在同一个可用区 在与服务器相同的可用区新建一个文件系统,将另一可用区的文件系统数据迁移至新文件系统后,再将新文件系统挂载至服务器。