检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。
修改文件系统绑定的安全组 功能介绍 修改SFS Turbo文件系统绑定的安全组。修改安全组为异步任务,可以通过“查询单个文件系统”返回的子状态字段“sub_status”来判断是否修改安全组状态,子状态为“232”即为修改安全组成功。
绑定后端存储 功能介绍 为SFS Turbo 文件系统绑定后端存储 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。
URI POST /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/perm-rules 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID share_id 是 String 文件系统ID
共享标签 创建共享标签 查询共享标签 删除共享标签 批量添加共享标签 查询租户所有共享的标签 通过标签查询文件系统列表 父主题: SFS Turbo API说明
URI GET /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/perm-rules 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID share_id 是 String 文件系统ID
SFS Turbo文件系统授权项分类 生命周期管理 权限 对应API接口 授权项 依赖的授权项 IAM项目 (Project) 企业项目 (Enterprise Project) 创建文件系统 POST /v1/{project_id}/sfs-turbo/shares sfsturbo
权限管理 加入AD域 查询AD域配置 修改AD域配置 退出AD域 创建权限规则 查询文件系统的权限规则列表 查询文件系统的某一个权限规则 修改权限规则 删除权限规则 创建并绑定LDAP配置 查询LDAP的配置 修改LDAP配置 删除LDAP配置 父主题: SFS Turbo API
方案架构 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问
IDC专线通过域名挂载SFS Turbo HPC型 操作场景 虚拟专用网络、云专线线下节点通过终端节点高速访问SFS Turbo HPC型文件系统。
SFS Turbo类型的文件系统,除了在创建文件系统时购买资源包,还可以将按需计费的文件系统转为包周期计费。不支持单独购买资源包。 父主题: 计费类
名称管理 修改文件系统名称 父主题: SFS Turbo API说明
将数据从SFS容量型迁移至SFS Turbo后,容量为什么变大了? 由于SFS Turbo中包含元数据,且这些元数据大约占用8%-10%的空间,所以将数据从SFS容量型文件系统迁移至SFS Turbo文件系统后,容量会变大。
单击“创建文件系统”,SFS Turbo文件系统需选择“按需计费”模式,SFS容量型文件系统无需选择,完成创建后开始使用资源。 使用阶段SFS容量型文件系统按实际使用的存储容量和时长收费。 使用阶段SFS Turbo文件系统按购买时选择的存储容量和时长计费。
URI POST /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/dir 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID share_id 是 String 文件系统ID 请求参数 表
注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 请在SFS Turbo无业务的情况下进行性能测试。以免因业务占用底层资源,导致测试性能无法达到预期。 安装fio 以Linux CentOS系统为例说明: 在官网下载fio。
目录管理 创建目标文件夹配额 更新目标文件夹配额 查询目标文件夹配额 删除目标文件夹配额 创建目录 查询目录是否存在 删除文件系统目录 查询目录资源使用情况 父主题: SFS Turbo API说明
URI POST /v1/{project_id}/sfs-turbo/shares/{share_id}/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID share_id 是 String 文件系统ID 请求参数 表
查询文件系统的某一个权限规则 功能介绍 查询文件系统的某一个权限规则 接口约束 该接口仅适用于NFS文件系统共享协议。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
运营管理 修改文件系统计费模式由按需转为包周期 父主题: SFS Turbo API说明