检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中。数据预热功能的
提升Linux操作系统单客户端访问SFS Turbo的性能 操作场景 nconnect是Linux操作系统下NFS客户端的挂载参数,开启后支持NFS客户端与服务端之间建立多条TCP连接来提升吞吐性能。 前提条件 Linux内核为5.3及以上版本。 当客户端与服务端之间网络延迟较高
"dir not create quota" } 状态码:500 错误响应 { "errCode" : "SFS.TURBO.0005", "errMsg" : "Internal server error" } 状态码 状态码 描述 200 更新quota成功 400 错误响应
选择“关联sfsturbo”。 在“关联sfsturbo”弹窗中,选择创建资源中创建的SFS Turbo HPC型文件系统。 选择完成后,单击“确定”创建关联。 使用过程中请不要解除关联,解除关联会导致ModelArts资源池无法访问SFS Turbo文件系统中的数据。 一个SFS
更新标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/sfs-turbo/{share_id}/tags 表1 路径参数
IDC专线通过域名挂载SFS Turbo HPC型 操作场景 虚拟专用网络、云专线线下节点通过终端节点高速访问SFS Turbo HPC型文件系统。 SFS Turbo HPC型文件系统的挂载点使用的是域名,IDC环境如果不适用云上DNS则无法解析SFS Turbo的域名,导致此场景无法使用。
tePermRule - √ √ 查询文件系统的权限规则列表 GET /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/perm-rules sfsturbo:shares:listPermRules - √ √ 查询文件系统的某一个权限规则
SFS Turbo时延测试 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS Turbo进行读写时延测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 SFS Turbo时延性能依赖于NFS客户端与SFS Turbo之间的网络时延。NFS客户端与SFS
{ "errCode" : "SFS.TURBO.0126", "errMsg" : "target not found, not bound yet" } 状态码:500 错误响应 { "errCode" : "SFS.TURBO.0005", "errMsg"
针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问,并将生成的结果数据异步持久化到OBS对象存储中长期低成本保存。
如何提高SFS Turbo文件系统拷贝和删除操作的效率? Linux常用cp、rm、tar命令,默认属于串行操作,无法发挥网络文件系统的并发优势,需要用户并发执行以上命令,提升执行效率。 父主题: 其他类
"errCode" : "SFS.TURBO.0001", "errMsg" : "parameter error" } 状态码:404 资源不存在 { "errCode" : "SFS.TURBO.0001", "errMsg" : "parameter error"
更新标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/sfs-turbo/{share_id}/tags/action
SFS Turbo API说明 生命周期管理 连接管理 共享标签 名称管理 文件系统管理 存储联动管理 目录管理 权限管理 任务管理 运营管理 查询文件系统类型和配额 租户配额管理
"errCode" : "SFS.TURBO.0102", "errMsg" : "Path is not directory" } 状态码:500 错误响应 { "errCode" : "SFS.TURBO.0005", "errMsg" : "Internal
{ "errCode" : "SFS.TURBO.0126", "errMsg" : "target not found, not bound yet" } 状态码:500 错误响应 { "errCode" : "SFS.TURBO.0005", "errMsg"
支持文件系统挂载的操作系统 已通过兼容性测试的操作系统如表1所示。 表1 支持文件系统挂载的操作系统列表 类型 版本范围 SFS容量型文件系统 通用文件系统 SFS Turbo文件系统 CentOS CentOS 5,6,7 for x86 √ √ √ Debian Debian
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 文件导出速度受OBS服务的写入带宽上
调用说明 SFS容量型/SFS Turbo提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见如何调用SFS容量型/SFS Turbo API。 通用文件系统提供了REST(Representational
共享标签 创建共享标签 查询共享标签 删除共享标签 批量添加共享标签 查询租户所有共享的标签 通过标签查询文件系统列表 父主题: SFS Turbo API说明