4.2 存储虚拟化演进

伴随着物联网、移动互联网、社交网络等迅猛发展，数据总量呈现出指数增长的趋势。根据美国IDC预计，到2020年，我国数据的存储总量将达到39ZB注1。每个企业都把数据当作自己最核心的价值，就像国内某打车公司，一直标榜自己是数据公司。的确，他们掌握了用户每天上下班的出行数据，从这些数据可以精准地分析用户的作息及活动区域等，从而可以进行精准营销，因此数据的价值是不可估量的，存储数据自然显得尤其重要。这些都对存储系统提出了很高的要求，一方面需要满足大数据存储，可能是TB，或者PB级别，甚至EB级别，另一个方面是数据的存取速度和吞吐量，还有就是数据的高可靠性和容灾备份等。当前数据的存储已经不能局限在数据的持久化上，更需要结合大数据、机器学习、人工智能等技术进行数据处理，让数据发挥更大的价值。举例来说，笔者在互联网金融相关行业就职，通过用户以往交易的信息，以及个人背景资料、征信等信息，配合决策树等机器学习算法，可以辅助确定是否发放贷款，还有一些智能理财服务，通过深度学习模型投资股票基金等，这些都是建立在数据存储的基础之上的。

注1:1ZB=103EB=106PB=109TB=1012GB

存储虚拟化分为两个阶段。第一阶段是以数据中心SAN（存储区域网络）和NAS（网络接入存储）为代表的集中存储。高端存储一直是EMC、IBM、NetApp和HDS的天下，这些年外置存储伴随着廉价磁盘不断提升容量和性能，SAN网络、主机FC接口不断成熟，在数据中心变得很普遍，尤其在金融领域，甚至还出现了一些全闪存的存储集群。

SAN提供的是块存储。例如，磁盘阵列里面有10块1TB数据盘，然后可以通过做RAID或者逻辑卷（LVM）的方式划分出10个数据盘，但这10个数据盘已经和之前的物理磁盘不一样了。一个逻辑盘可能由第一个物理盘提供100GB，第二个物理盘提供300GB。对于操作系统来说，完全无法感知是物理盘，还是逻辑盘，这是存储资源池的理念。通过RAID或者LVM不仅可以提供数据保护，还能够重新划分盘的大小，提高读写速率。但SAN也存在缺点，首先，它价格比较昂贵，光纤口、光纤交换机价格高，所以才有了IP SAN存储，通过IP协议承载存储协议；其次，无法提供数据共享，一个盘（LUN）只能挂给一个主机，为了共享数据，出现了NAS存储。NAS存储通过网络介入的方式可以很好地解决这个问题，很多中高端存储都既有NAS接口，也有SAN接口。光纤SAN存储逻辑架构图如图4-1所示。

这些商业存储通常都是由定制的硬件和闭源的软件组成的，而且购买和维护成本也很高，由一些存储厂商控制其生态。伴随着大数据和非结构化数据暴增，以及互联网技术的兴起，存储的架构发生了巨大变化，进入第二个阶段。

第二个阶段是软件定义存储，伴随x86芯片性能的提升，以x86芯片构建的小型存储系统，在中端存储领域开始崭露头角。通过将x86本地磁盘利用起来，构建一个大存储集群，如亚马逊的S3、EBS、开源的分布式存储系统，以Ceph、HDFS文件系统为主要代表。

此时的通信协议大多构建在传统的TCP/IP网络之上，最常见如SCSI协议。当主机的应用需要访问存储时，驱动通过SCSI协议与存储交互数据和指令，这些SCSI指令会被封装到TCP/IP的数据包，通过以太网网卡发送到目标端，目标端再拆包获取原始的SCSI指令，并执行相应的操作，返回的数据也需要通过TCP/IP封包，返回初始端。这个原理和overlay网络原理相似，都是封包和拆包的思路。虽然在速度上和商业的FC SAN性能有差距，但使用传统的以太网设备（交换机、线缆、网口）便可以完成传输，极大地降低了成本，并且兼容现有的网络拓扑，突破了距离限制。在当前数据中心万兆网普及的时代，它的优势会逐渐显露。

在软件定义存储里面有个特殊的分支，即超融合架构。大部分存储系统都是独立的集群部署，这样计算节点上面的本地存储基本闲置，利用率较低。超融合架构就是利用本地存储构建存储资源池，并且读写优先本地化，这样不仅可以充分利用本地磁盘空间，还能节省带宽，提供高效的I/O。国内的Smartx，国外的Nutanix等公司都有相应的解决方案。