检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表1 资源规划 产品 配置示例 说明 弹性云服务器 ECS 规格:8vCPUs | 16GB | c7.2xlarge.2 操作系统:Linux 区域:华北-北京四 VPC名称:VPC1 已创建/mnt/src和/mnt/dst的目录 操作步骤 登录弹性云服务器管理控制台。
SFS Turbo文件系统 管理SFS Turbo文件系统与OBS桶的存储联动 配置Active Directory 配置LDAP域 管理SFS Turbo目录配额 加密传输 管理SFS Turbo文件系统权限 通过AITurbo加速保存与加载checkpoint
图1 删除SFS Turbo文件系统 图2 删除通用文件系统 图3 退订SFS Turbo文件系统 图4 删除单个SFS容量型文件系统 图5 批量删除SFS容量型文件系统 在文件系统列表中查看文件系统是否删除或退订成功。 父主题: 管理文件系统
父主题: SFS Turbo文件系统数据迁移
ReadOnlyAccess” 弹性文件服务(SFS Turbo文件系统):“SFS Turbo ReadOnlyAccess” 弹性文件服务(通用文件系统):“SFS3 ReadOnlyAccess” 父主题: 权限管理
save_checkpoint/load_checkpoint from aiturbo.checkpoint.training.Megatron import save_checkpoint, load_checkpoint 父主题: SFS Turbo文件系统
≥0 count 不涉及 文件共享 4分钟 通用文件系统的监控指标仅在有业务访问时展示数据。 维度 Key Value share_id 文件共享 查看监控数据 登录管理控制台。
创建VPC 虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS Turbo文件系统,文件系统类型选择“HPC型”,操作指导请参考创建SFS Turbo文件系统。
SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。 登录SFS管理控制台。
前提条件 已创建SFS Turbo文件系统,并获取到文件系统的挂载地址。创建SFS Turbo文件系统的步骤请参见创建SFS Turbo文件系统,挂载SFS Turbo文件系统到云服务器的步骤请参见挂载SFS Turbo文件系统。 已提前创建迁移集群,创建步骤请参见创建集群。
SFS Turbo API说明 生命周期管理 连接管理 共享标签 名称管理 文件系统管理 存储联动管理 目录管理 权限管理 任务管理 运营管理 查询文件系统类型和配额 租户配额管理
安全组端口开放规则如下: 为了确保SFS Turbo能够被您的弹性云服务器访问,在成功创建SFS Turbo后,系统将自动放通SFS Turbo中NFS协议需要的安全组端口,以免文件系统挂载失败。NFS协议所需要入方向的端口号为111、2049、2051、2052、20048。
如果希望使用另一种规格的SFS Turbo文件系统,不再需要使用之前规格的文件系统,可以先将原文件系统删除/退订后,重新购买新规格的SFS Turbo文件系统。或者购买新规格的SFS Turbo文件系统后,完成文件系统之间的数据迁移,再将原文件系统删除/退订即可。
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”。
SFS Turbo文件系统无默认密钥,可以使用您已有的密钥或者创建新的密钥,请参见《数据加密服务用户指南》的“创建密钥”章节。
数据预热功能的具体操作可以参考创建数据导入导出任务接口或者管理SFS Turbo文件系统与OBS桶的存储联动章节的“数据预热功能”内容。 您可通过查询联动任务详情接口或者参考管理SFS Turbo文件系统与OBS桶的存储联动章节的“任务状态”内容查看导入任务的完成状态。
图15 安装AD域服务 将文件系统加入AD域。 加域流程: 登录SFS Turbo控制台。 在SFS Turbo文件系统列表中,找到待加域的文件系统并单击目标文件系统名称,进入文件系统详情界面。 进入Active Directory配置页面,单击“加域”。
SFS容量型文件系统暂时不支持跨区域挂载。文件系统只能挂载至同一区域的弹性云服务器上。 通用文件系统不支持跨区域挂载。 SFS Turbo支持同区域(region)下跨可用区(AZ)挂载。
SFS Turbo文件系统数据迁移 方案概述 通过MGC将OBS桶内数据迁移至SFS Turbo 通过MGC批量迁移数据至SFS Turbo 通过云专线迁移(rclone工具) 跨服务器迁移(rclone工具) 通过云专线迁移(rsync工具) 文件系统之间迁移数据
查询文件系统详情返回状态status为“200”,则表示创建SFS Turbo文件系统成功。请求异常的返回值说明请参考对应API接口的异常返回值。其他的状态请参考SFS Turbo文件系统状态。 根据文件系统的id,可对SFS Turbo文件系统进行查询、删除等操作。