检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“关联sfsturbo”。 在“关联sfsturbo”弹窗中,选择创建资源中创建的SFS Turbo HPC型文件系统。 选择完成后,单击“确定”创建关联。 使用过程中请不要解除关联,解除关联会导致ModelArts资源池无法访问SFS Turbo文件系统中的数据。 一个SFS
数据迁移 数据迁移概述 通过云专线迁移本地数据至云上SFS Turbo 通过公网迁移本地数据至云上SFS Turbo
>文件系统列表”。在页面右上角单击“创建文件系统”。 在创建文件系统页面,根据界面提示配置参数。 配置完成后,单击“立即创建”,完成文件系统创建。 Linux系统ECS挂载操作请参见挂载SFS Turbo文件系统到Linux云服务器;Windows系统ECS挂载操作请参见挂载SFS T
获取文件系统异步任务详情 功能介绍 获取文件系统异步任务详情。仅支持查询目录资源使用情况的任务,API请求路径的feature取值为dir-usage,以下简称为DU任务。 接口约束 在2023年8月1号之后创建的文件系统支持该API操作。后端有5min的缓存时间,查询的数据可能
请求体参数file_system_path必须是文件系统根目录下不存在的目录名。 绑定OBS桶作为后端存储时,仅支持OBS存储桶,不支持OBS并行文件系统。 创建 OBS后端存储库,依赖的服务是对象存储服务 OBS。用户需要额外配置OBS Adminstrator权限。 该接口仅适用于NFS文件系统共享协议。 调试
方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS
业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务
/v1/{project_id}/sfs-turbo/shares/{share_id}/fs/dir 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID share_id 是 String 文件系统ID 请求参数 表2 请求Header参数
21K数据集。 说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 成本规划 OBS费用:详见OBS计费说明。 SFS Turbo费用:详见SFS计费说明。 ModelArts费用:详见ModelArts计费说明。
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
包年/包月转按需 支持变更为包年/包月计费模式。 按需转包年/包月 变更文件系统容量 支持变更文件系统容量。 不支持缩容。 支持扩容,扩容需要补差价。扩容后,文件系统到期时间不变。 支持变更文件系统容量。 不支持缩容。 支持扩容,根据扩容后的容量按需计费。 适用场景 适用于可预
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问,并将生成
计费模式 计费模式概述 包年/包月 按需计费
计费FAQ 如何购买高性能弹性文件服务? 如何进行续费? 如何查看是否欠费?
基本概念 产品基本概念 项目和企业项目 区域和可用区
典型应用举例 高性能计算 企业网站/APP后台 日志打印
性能调优 SFS Turbo性能测试 SFS Turbo时延测试 提升单客户端访问SFS Turbo的性能(Linux)
通过标签查询文件系统列表 功能介绍 通过标签查询文件系统列表 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/sfs-turbo/r
使用Windows系统挂载文件系统时提示不能访问此共享文件夹 现象描述 使用Windows系统挂载文件系统时,提示:“你不能访问此共享文件夹,因为你组织的安全策略阻止未经身份验证的来宾访问。这些策略可帮助你保护你的电脑免受网络上不安全设备或恶意设备的威胁。” 可能原因 由于Win