检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何在Linux系统中删除大量文件或文件夹 当文件数量过多时,您可以使用以下常用方式删除大量文件或文件夹,提高删除速度和预防文件系统卡顿。 rm命令 删除当前目录下所有文件:“*”代表当前目录下所有文件。
前提条件 已在云上和本地分别创建一台Linux操作系统的服务器。 服务器已完成弹性IP的配置,保证两台服务器间可以相互访问。 已创建SFS Turbo文件系统,并获取到文件系统的挂载地址。 已经获取到本地NAS存储的挂载地址。 资源规划 本章节介绍案例中使用的资源信息。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。
SFS Turbo扩容类问题 SFS Turbo文件系统使用空间不足,可以扩容吗
SFS Turbo性能类问题 如何发挥SFS Turbo文件系统的最大性能
当您需要使用文件系统加密功能时,创建SFS Turbo文件系统无需授权。 文件系统加密的密钥 SFS Turbo文件系统无默认密钥,可以使用您已有的密钥或者创建新的密钥,请参见《数据加密服务用户指南》的“创建密钥”章节。
文件系统类型 本章节介绍了各种类型的SFS Turbo文件系统的特点、优势及应用场景。
SFS Turbo数据迁移实践 SFS Turbo数据迁移实践方案概述 通过云专线迁移数据至SFS Turbo(rclone工具) 通过跨服务器迁移数据至SFS Turbo(rclone工具) 通过云专线迁移数据至SFS Turbo(rsync工具) 文件系统之间迁移数据
SFS Turbo迁移类问题 如何在高性能弹性文件服务SFS Turbo和对象存储服务OBS之间进行数据迁移 如何将SFS Turbo部署至CCE SFS Turbo文件系统中的数据可以跨区域迁移吗 如何在高性能弹性文件服务SFS Turbo和云硬盘EVS之间进行数据迁移
支持文件系统挂载的操作系统 已通过兼容性测试的操作系统如表1所示。
提升单客户端访问SFS Turbo的性能(Linux) 操作场景 nconnect是Linux操作系统下NFS客户端的挂载参数,开启后支持NFS客户端与服务端之间建立多条TCP连接来提升吞吐性能。 前提条件 Linux内核为5.3及以上版本。
SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
这里文件系统提示的报错是 Permission denied,实际上是由于该子目录不存在导致的。 图1 无子目录挂载 解决方法 如遇到以上问题,应该先挂载根目录,然后创建子目录后再对子目录进行挂载。 图2 挂载子目录 父主题: SFS Turbo挂载类问题
支付成功后,系统自动扣除欠费。 更多关于续费的信息(自动续费、导出续费清单、变更资费等)请参考续费管理。 有关订单、退订、优惠券、消费明细等更多信息请参考费用中心帮助文档。 父主题: SFS Turbo计费类问题
高性能弹性文件服务会占用用户的哪些资源 为保证SFS Turbo文件系统能够正常使用,SFS Turbo文件系统将会占用用户以下资源。 创建或扩容SFS Turbo文件系统时,会在用户填写的子网下创建多个私有IP和虚拟IP。
注意和说明 SFS Turbo时延性能依赖于NFS客户端与SFS Turbo之间的网络时延。NFS客户端与SFS Turbo处于同一VPC下,才能达到标准的时延性能。 安装fio 以Linux CentOS系统为例说明: 在官网下载fio。
是 => 重新创建文件系统或者选择已有文件系统进行挂载(文件系统与云服务器必须归属在同一VPC下)。 否 => 原因2。 原因2:执行挂载命令的云服务器和被挂载的文件系统不在同一VPC下。 登录管理控制台,查看云服务器归属的VPC和文件系统归属的VPC是否相同。
文件系统挂载超时 现象描述 使用mount命令挂载文件系统到云服务器,云服务器系统提示“timed out”。 可能原因 原因1:网络状态不稳定。 原因2:网络连接异常。 定位思路 排除网络问题后,重试挂载命令。 解决方法 原因1和原因2:网络状态不稳定;网络连接异常。
安全组端口开放规则如下: 为了确保SFS Turbo能够被您的弹性云服务器访问,在成功创建SFS Turbo后,系统将自动放通SFS Turbo中NFS协议需要的安全组端口,以免文件系统挂载失败。NFS协议所需要入方向的端口号为111、2049、2051、2052、20048。
原生Pytorch系框架在保存checkpoint时均直接持久化到存储系统,耗时与模型大小、存储的IO性能等密切相关,往往需要几分钟到几十分钟不等,为了保证训练状态的一致性,保存checkpoint时训练必须暂停,保存时间影响了训练过程的整体效率。