虚拟存储涉及到的相关基础知识总结 1

举报
费德勒 发表于 2017/04/19 18:01:20 2017/04/19
【摘要】 网络存储通信中使用到的相关技术和协议包括 SCSI 、RAID 、iSCSI 以及光纤信道。一直以来 SCSI 支持高速、可靠的数据存储。RAID(独立磁盘冗余阵列)指的是一组标准,提供改进的性能和/或磁盘容错能力。

1 数据存储类型

1.1 网络存储

网络存储通信中使用到的相关技术和协议包括 SCSI 、RAID 、iSCSI 以及光纤信道。一直以来 SCSI 支持高速、可靠的数据存储。RAID(独立磁盘冗余阵列)指的是一组标准,提供改进的性能和/或磁盘容错能力。光纤信道是一种提供存储设备相互连接的技术,支持高速通信(将来可以达到 10Gbps )。

与传统存储技术,如 SCSI 相比,光纤信道也支持较远距离的设备相互连接。iSCSI 技术支持通过 IP 网络实现存储设备间双向的数据传输。其实质是使 SCSI 连接中的数据连续化。

通过 iSCSI,网络存储器可以应用于包含 IP 的任何位置。而作为 Internet 的主要元素,IP 几乎无所不在。

1.2 DAS

DAS(Direct Attached Storage)直接附加存储

这是一种直接与主机系统相连接的存储设备,如作为服务器的计算机内部硬件驱动。到目前为止,DAS 仍是计算机系统中最常用的数据存储方法。 SAS(Server Attached Storage) 意为服务器连接存储。或称DAS(Direct Attached Storage):存储产品是作为计算机的附属部分,采用直接连接存储结构。将存储设备通过SCSI 接口或光纤通道直接连接到一台计算机上。其缺点是服务器成为网络瓶颈,存储容量不易扩充; 服务器发生故障时,,连接在服务器上的存储设备中的数据不能被存取。

DAS这种存储方式与我们普通的PC存储架构一样,外部存储设备都是直接挂接在服务器内部总线上,数据存储设备是整个服务器结构的一部分。

DAS存储方式主要适用以下环境:

(1)小型网络

因为网络规模较小,数据存储量小,且也不是很复杂,采用这种存储方式对服务器的影响不会很大。并且这种存储方式也十分经济,适合拥有小型网络的企业用户。

(2)地理位置分散的网络

虽然企业总体网络规模较大,但在地理分布上很分散,通过SAN或NAS在它们之间进行互联非常困难,此时各分支机构的服务器也可采用DAS存储方式,这样可以降低成本。 

(3)特殊应用服务器

在一些特殊应用服务器上,如微软的集群服务器或某些数据库使用的原始分区,均要求存储设备直接连接到应用服务器。

1.3 NAS

NAS(Network Attached Storage)数据存储方式

 NAS(网络附加存储)方式则全面改进了以前低效的DAS存储方式。它采用独立于服务器,单独为网络数据存储而开发的一种文件服务器来连接所存储设备,自形成一个网络。这样数据存储就不再是服务器的附属,而是作为独立网络节点而存在于网络之中,可由所有的网络用户共享。

NAS的优点:

(1)真正的即插即用

NAS是独立的存储节点存在于网络之中,与用户的操作系统平台无关,真正的即插即用。

(2)存储部署简单

NAS不依赖通用的操作系统,而是采用一个面向用户设计的,专门用于数据存储的简化操作系统,内置了与网络连接所需要的协议,因此使整个系统的管理和设置较为简单。

(3)存储设备位置非常灵活 

(4)管理容易且成本低

NAS数据存储方式是基于现有的企业Ethernet而设计的,按照TCP/IP协议进行通信,以文件的I/O方式进行数据传输。

NAS的缺点:

(1)存储性能较低 (2)可靠度不高

 

1.4 SAN

SAN(Storage Area Network)存储方式

1991年,IBM公司在S/390服务器中推出了ESCON(Enterprise System Connection)技术。它是基于光纤介质,最大传输速率达17MB/s的服务器访问存储器的一种连接方式。在此基础上,进一步推出了功能更强的ESCON Director(FC SWitch),构建了一套最原始的SAN系统。

SAN 是指存储设备相互连接且与一台服务器或一个服务器群相连的网络。其中的服务器用作 SAN 的接入点。在有些配置中,SAN 也与网络相连。SAN 中将特殊交换机当作连接设备。它们看起来很像常规的以太网络交换机,是 SAN 中的连通点。SAN 使得在各自网络上实现相互通信成为可能,同时并带来了很多有利条件。

SAN存储方式创造了存储的网络化。存储网络化顺应了计算机服务器体系结构网络化的趋势。SAN的支撑技术是光纤通道(FC Fiber Channel)技术。它是ANSI为网络和通道I/O接口建立的一个标准集成。FC技术支持HIPPI、IPI、SCSI、IP、ATM等多种高级协议,其最大特性是将网络和设备的通信协议与传输物理介质隔离开,这样多种协议可在同一个物理连接上同时传送。

SAN的硬件基础设施是光纤通道,用光纤通道构建的SAN由以下三个部分组成:

(1)存储和备份设备:包括磁带、磁盘和光盘库等。

(2)光纤通道网络连接部件:包括主机总线适配卡、驱动程序、光缆、集线器、交换机、光纤通道和SCSI间的桥接器

(3)应用和管理软件:包括备份软件、存储资源管理软件和存储设备管理软件。

SAN的优势[2]:

(1)网络部署容易;

(2)高速存储性能。因为SAN采用了光纤通道技术,所以它具有更高的存储带宽,存储性能明显提高。SAn的光纤通道使用全双工串行通信原理传输数据,传输速率高达1062.5Mb/s。

(3)良好的扩展能力。由于SAN采用了网络结构,扩展能力更强。光纤接口提供了10公里的连接距离,这使得实现物理上分离,不在本地机房的存储变得非常容易。

1.5 NAS与SAN的区别

  • NAS有文件操作和管理系统,而SAN却没有

  • SAN主要是高速信息存储,NAS偏重文件共享。

  • SAN和NAS相比不具有资源共享的特征

  • SAN是只能独享的数据存储池,NAS是共享与独享兼顾的数据存储池。

  • NAS是网络外挂式,而SAN是通道外挂式。

  • SAN高效可扩,NAS简单灵活。

1.6 块存储和文件存储

文件级存储:应该是nas环境,具体采用nfs或者cifs技术,客户端看到时候已经具备文件系统,不可以格式化,完全是文件级别。

块方式存储:应该是san环境或者das环境,通过映射把lun映射到客户端,在客户端看到的是裸设备,没有文件系统,可以进行格式化,建立文件系统。相当于本地硬盘。

文件级存储的特点:它的易管理、大数据存储以及NFS阵列具备的一些诸如重复数据删除等可以节省成本的技术。主要用于文件共享环境。

块方式存储的特点:块级存储提供的高性能和高可靠性已经得到事实证明,尤其在关键的生产环境内。数据库环境用的比较多。

简单的讲,所有的磁盘阵列系统都是Block块的模式,所有的NAS产品都是文件系统。实际区别来说,绝大多数的数据库都只能应用在Block块的模式下,NAS是无法装数据库文件的,其中SQL中基于文件存储这块出外,但是这种方式的数据库效率非常低。

我们在硬盘上能看到文件,是需要在硬盘上进行分区,并建立文件系统的。文件系统之上才能按照目录看到文件。按照块传输,应该是在利用SAN或ISCSI共享远端的磁盘时,通过以上协议可以直接访问远端磁盘的块。而文件共享是通过NFS,CIFS等,在远程设备的文件系统上获取文件。

NAS文件系统,主要应用于文件共享,在视频点播、监控行业用的比较多。另外,在教育行业里面NAS用的非常的多。

实际上SAN里面走的是FC协议。里面传输的是串行SCSI协议,不是IP协议。ISCSI是在IP包里面封装了SCSI协议,NAS可以直观的理解为文件系统+SAN.

所谓block-level级别的和文件级别是对存储来说的。对于OS来说,想访问数据必须要经过BLOCK-LEVEL,可以这样说。对于SAN来说OS将数据传输给卷管理器,然后卷管理器把数据以块的方式放的硬盘上。一般OS的块为8KB,而NAS对服务器的OS来说是通过网络文件系统来访问数据的走的是网络协议,但最终于还要通过NAS里OS卷管理器通过块的方式存取数据。可以理解为:

SAN:服务器OS-->;卷管理-->;硬盘

NAS:服务器OS-->;网络文件协议--->;nas的OS--->;卷管理--->;硬盘

要想对硬盘读写数据,必须要格式划,否则卷管理无法实现,NAS下厂家都给做好了,所以不需要格式划,只需要MOUNT上就可以了

 

2 存储协议

随着虚拟化的普及加速,VMware存储环境下的应用更加普遍,因此绝对有必要对VMware环境下的存储协议进行研究与测试,特别是三大存储协议:光纤通道、iSCSI和NAS(NFS)。通过VMware环境下的研究和测试,用户可以更好的理解自己虚拟化环境下的存储需求,从而让自身的业务运行的更为顺畅。

这里先讨论三大协议中最为特别的iSCSI。

如果是创建一个VMware存储架构的话,你会基于以下几个因素作出决定:性能、成本和易用性。当然,还有其他像安全性和可靠性的一些问题。但是大多数用户更关心前者。另外还有规格大小的问题——你最有可能选择你目前使用的规格或者你同事使用的规格。

如果纯粹谈性能的话,大多数人得承认光纤从很多方面来说都具有性能优势,而且如果你的主机和相关工作负载真的可以利用这个性能优势的话,那么你最有可能选择光纤。对许多用户来说,iSCSI和NFS的性能水平是可以接受的,尤其是刚开始的时候。

如果你可以轻松地通过iSCSI或者NFS维持I/O性能、而且两种协议在存储I/O性能方面也旗鼓相当,那么你将对比两者的易用性和成本。在很多人看来,iSCSI曾经是一项具有易用性的关键技术。人们普遍认为iSCSI是通过IP运行的,所以它的易用性肯定更高一些。我从2002年开始接触 iSCSI技术,非常清楚这一点,尤其是当用户摆脱使用软件发起端(Software Initiator),而且他们可以接受标准以太网卡的性能。

而当你需要扩展iSCSI的时候iSCSI就开始给你带来难题。例如,在一个ESX环境下,你可能希望通过添加一个iSCSI HBA来进行扩展以卸载IP开销或者从SAN启动ESX Server。当开始调节性能的时候,你可能系统添加多个HBA、安装VLAN或者采取其他调节措施。这些都是可能的,但是很快你就会在进行架构规划的时候遇到难题,希望远离光纤通道架构来避免架构规划。

与此同时,光纤通道领域已经开始着眼于加强技术的易用性。虽然易用性会基于你的背景有所不同,许多人——包括我自己在内——发现光纤就像iSCSI一样即装即用,尤其是当你进行协议扩展的时候。你还会认为,使用iSCSI达到性能极限肯定会比光纤早。

不管哪种协议,你都要遇到基于块的访问问题,也就是VMFS或者RDM。这不是一个大问题,主要取决于你的背景,但却难倒了不少人。过去,唯一的选择就是块存储,所以无论是不是难题,或者没有选择余地,那么你就不得不解决它。NFS改变了这种情况,它能够处理对VMware存储的文件访问路径。

 

作者 | ​沈顺其

转载请注明出处:华为云博客 https://portal.hwclouds.com/blogs

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

举报
请填写举报理由
0/200