企业中的云存储整合技术趋势研究

    1 什么是云存储

 

 

    云存储的概念与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等手段，将网络中各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。

 

 

    通俗意义上讲，云存储系统中的所有设备对使用者都是完全透明的，任何一个经过授权的使用者都可以通过接入网络与云存储连接，对云存储进行数据访问。它是一种存储整合应用的方式。

 

 

    2 目前企业存储现状分析

 

 

    大多数企业通过不断增加磁盘、阵列和服务器，努力满足来自用户和应用的不断增长的存储需求。随着时间的推移，这些企业的数据中心都会面临存储分散的问题，数据存储在数据中心的磁盘和系统，遍布企业内部。通过SAN可以解决部分系统的数据集中问题。但是很多SAN是服务于特定的应用群，当企业内部出现若干个应用群时，也就出现了多个孤立的SAN，形成数据孤岛（见图1）。在这种情况下，很多企业已经将云存储和虚拟化概念引人企业的存储系统中，如何在现有的环境下利用云存储的模式对现有设备进行整合已经成为许多数据中心的首先考虑的问题。

 

 

 

    存储整合前

 

    3 整合方式技术分析

 

 

    3.1 存储虚拟化叠台

 

 

    存储虚拟化是当前流行的一种整合方式，它通过将多个目标设备或服务与其它附加的功能集成。统一提供全面的功能服务。典型的虚拟化屏蔽系统的复杂性。增加或集成新的功能，仿真、整合现有的服务功能等。虚拟化作用在一个或者多个实体上，而这些实体则是用来提供存储资源或服务的。

 

 

    存储的虚拟化可以在3个不同的层面上实现：基于专用卷管理软件在主机服务器上实现、利用阵列控制器的固件在磁盘阵列上实现或者利用专用的虚拟化引擎在存储网络上实现。

 

 

    3.1.1 基于主机的虚拟化

 

 

    如果仅仅需要单个主机服务器（或单个集群）访问多个磁盘阵列，可以使用基于主机的存储虚拟化技术。虚拟化的工作通过特定的软件在主机服务器上完成，经过虚拟化的存储空间可以跨越多个异构的磁盘阵列。

 

 

    这种虚拟化通常由主机操作系统下的逻辑卷管理软件来实现，其最大优点是久经考验的稳定性，以及对异构存储系统的开放性。它与文件系统共同存在于主机上，便于二者的紧密结合以实现有效的存储容量管理。卷和文件系统可以在不停机的情况下动态扩展或缩小。

 

[page]    3.1.2 基于存储设备的虚拟化

 

 

    当有多个主机服务器需要访问同一个磁盘阵列时，可以采用基于阵列控制器的虚拟化技术。此时虚拟化的工作是在阵列控制器上完成，将一个阵列上的存储容量划分多个存储空间（LUN），供不同的主机系统访问。

 

 

    智能的阵列控制器提供数据块级别的整合，同时还提供一些附加的功能，例如：LUN Masking、缓存、即时快照、数据复制等。配合使用不同的存储系统，这种基予存储设备的虚拟化模式可以实现性能的优化。

 

 

    这种虚拟化不依赖于某个特定主机，能够支持异构的主机系统。但是对于每个存储子系统而言，它又是个专用私有的方案，不能够跨越各个存储设备间的限制，因此无法打破设备间的不兼容性。

 

 

    3.1.3 基于存储网络的虚拟化

 

 

    以上都是一对多的访问模式，而在现实的应用环境中，很多情况下是需要多对多的访问模式，也就是说多个主机服务器需要访问多个异构存储设备，其目的是为了优化资源利用率一多个用户使用相同的资源，或者多个资源对多个进程提供服务等。在这种情形下，存储虚拟化的工作就需要在存储网络上完成了。这也是构造公共存储服务设施的前提条件。

 

 

    而以上描述的两种存储虚拟化方法的优点都可以在存储网络虚拟化上同时体现，它支持数据中心级的存储管理以及异构的主机系统和存储系统。

 

 

    很多主流存储厂商利用第三种方式，对用户现有的存储环境提供一体化的存储虚拟化整合方案。这种方式可以解决简化管理界面和数据孤岛的问题，但是需要购买昂贵的虚拟存储设备，前期投人很大。

 

 

    3.2 存储网络整合

 

 

    如何更好地利用现有设备、在较少投资的情况下对原有环境进行整合是众多企业关心的核心问题。虚拟化主要是简化管理，采用统一的界面对所有设备进行管理，而底层设备间的互联、互通还需要通过光纤交换机实现。如果从网络层面入手，将多个孤立的FCSAN级联起来，构成一个大的云状存储环境，各种存储资源都存在于这个云内部，用户访问只需要一根线缆接人存储云，就可以实现对所需存储资源的访问。同时将各个SAN的管理网络统一在一个网络域内，通过单一网络界面对所有SAN进行管理。

 

 

    4 存储整合技术

 

 

    4.1 光交换机级联

 

 

    要想打破原有的多个SAN之间孤立的局面，就需要将各个SAN连接起来。而连接各个孤立的SAN环境就要利用光交换机的级联功能，将多个光交换机连接起来。

 

 

    利用光交换机级联技术，通过光纤链路将多台光交换机构成一个逻辑上统一的存储网络环境，企业内部所有可用的存储设备全部纳入这个网络环境中统一部署，通过相应的权限设置实现设备间的资源共享。

 

 

    4.2 Port Trunk

 

 

    Trunk是一种封装技术，它是一条点到点的链路。Trunk功能允许交换机与交换机之间通过两个或多个端口并行传输，以提供更高带宽、更大的吞吐量，大幅度提供整个网络的数据传输能力。

 

 

    Trunk是一种在交换机和网络设备之间比较经济的增加带宽的方法，交换机级联时可以使用这种方法来解决级联链路带宽瓶颈问题。

 

 

    4.3 MultiPath I/O（MPIO）

 

 

    MPIO是指通过一条及以上的物理链路来访问网络存储设备，并且可以使用容错、流量负载平衡以及细粒度的I/O调度策略等方式，为网络存储应用提供更高的可用性和性能优势。

 

[page]    大多数厂商都提供了MPIO功能。但其实现技术方向多种。其功能的侧重点也不同，有的只能解决容错问题，有的既能解决容错问题，也能够提高性能。

 

 

    在云存储整合过程中，要利用MPIO技术提供的冗余链路功能，某一时刻只在一条路径上进行升级和切换工作，待两条路径全部正常后，再切换到另外一条路径进行操作，实现整合过程的零宕机，避免整台对现有生产系统造成影响。

 

 

    5 存储整台

 

 

    5.1 准备工作

 

 

    搜集现用交换机的型号，版本和授权信息，判断其是否支持升级、级联以及Port Trunking操作。搜集并分析现有交换机中Zoning的信息，对不同交换机中重名的纪录进行标注，避免级联时出现错误。观察阵列控制器的I/O分布，掌握每个控制器的负载情况，在升级时首先选择负载较小的控制器所连接的交换机。统计各交换机端口的使用率，根据实际情况，采购新交换机来扩充端口数量。

 

 

    5.2 整合规划

 

 

    首先要对现有的存储交换机进行梳理，保留性能较高的、可以进行级联的交换机。并且根据需要采购少量新交换机以扩充新的云存储环境的端口数量。然后将新交换机与可以利用的旧交换机进行级联，将原有多个SAN网络构建成一个大的云存储网络（见图2）。最后利用存储的多路冗余功能，将原有的各SAN中的存储设备平滑的迁移到新的云存储环境中。

 

 

 

    存储整合后

 

    5.3 交换机升级

 

 

    为了确保交换机能够顺利级联，需要检查级联的兼容性列表，必要时将旧的交换机Fos版本进行升级，使其与新旧交换机的Fos版本兼容。

 

 

    在需要升级的交换机中。察看它们所连接存储的活动状态，选择I/O活动较少的交换机进行升级。部分阵列控制器能够手工的将主机在两个控制器间迁移，这种情况下可以将全部负载手动迁移到一个交换机上，对另外一个闲置的交换机进行升级。待一台交换机升级完成后，将活动路径迁移到升级后的交换机上，对未升级的交换机进行升级，整个升级过程始终保持一台交换机在正常工作状态。

 

[page]    5.4 光存储交换机级联

 

 

    光存储交换机级联是整个过程中的关键，需要对交换机中的参数配置进行详细的梳理，避免重名。两台在线的交换机级联时，必须保证参数不能发生冲突，否则可能会导致交换机宕机。新旧交换机级联时，由于新交换机内部没有Zoning配置信息，新交换机只要配置参数同旧交换机没有冲突即可。而两台旧交换机级联时，需要同时考虑两台设备上原有参数，在保证现有功能的前提下，相应修改一台设备上的参数来规避冲突。

 

 

    如果是同型号的交换机级联，首先要改DomainID，其次需要检查Zoning是不是有冲突。如果是不同型号的交换机，还需要修改CorePID。

 

 

    5.5 存储和主机在线迁移

 

 

    5.5.1 数据孤岛的融合

 

 

    两台旧交换机间级联时，当完成一路级联工作后，只需要手动或者自动地将主机和存储的通讯链路迁移到该路径，然后观察链路是否工作正常，如一切正常即可开展另一路的级联操作。级联完成后，无需调整光纤线缆的位置。

 

 

    5.5.2 数据孤岛的在线迁移

 

 

    当所有的级联工作完成，新的云存储网络已经建立后，需要将不具备级联功能的光交换机上连接的主机和存储迁移到新环境中。首先选择负载较轻的一路，将该交换机上的光纤全部迁移到新的网络架构中，然后测试应用，一切正常后，进行另外一路的线路迁移工作。

 

 

    6 整合技术分析

 

 

    6.1 交换机连接性能瓶颈

 

 

    多台交换机问的互连，可以实现光交换网络的统一部署和端口扩展，但是在某些情况下，级联通道可能会形成系统的性能瓶颈。

 

 

    光交换机之间的连接有堆叠和级联两种方式。

 

 

    堆叠是用专用的端口把变换机连接起来，当作一个交换机使用。堆叠实际上是把每台交换机的母板总线连接在一起，不同交换机任意二端口之问的延时是相等的，而级联就会产生比较大的延时。堆叠是把所有堆叠交换机的背板带宽共事，因此它是提高交换机速度和端口的很好办法。

 

 

    级联是在两台存储光纤交换机中的任意一对端口上，以Eport方式通过光纤连接，实现互联，它们的级联带宽就是端口的额定带宽（2Gb、4Gb或者8Gb）。这样两台交换机之间的所有通讯，都不能超过这个额定带宽。如果交换机之间的数据交互量太大就会出现通信阻塞。为了解决这个问题，可以通过Port Trunking技术，使用多根光纤在两个交换机之间进行级联，这样可成倍地增加级联带宽。级联可以实现远距离连接，从几十米到几十公里。而堆叠线缆最长也只有几米。堆叠和级联各有优点，在实际的方案设计中经常同时出现，可灵活应用。

 

 

    目前能够提供堆叠的光交换机种类较少，主要还是采用级联的方式进行端口扩充，必要时采用Port Trunking技术来适当扩充带宽。但是为了避免性能瓶颈对应用产生影响，还需要对设备的连接方式进行合理的规划。

 

 

    6.2 级联后的部署方式

 

 

    考虑到级联后，交换机间的级联带宽会成为系统的瓶颈。我们需要从设备部署的角度去均衡数据交互的通道。首先按照使用频度，将对某一存储访问密集的相关主机和存储划分为一组，然后将每一组分配到一个独立的交换机上，如果组间有大量的数据通信需要，则最好将相关组部署在同一个交换机，避免大数据量通信占用级联通道。

 

 

    6.3 跨安全域与整合的问题

 

 

    企业内部的多个SAN可能是服务于不同安全域的应用系统，整合存储涉及到安全性的问题。但是云存储整合通过3层安全机制来保证数据安全，首先数据通过光交换网络传输，在传输介质上避免了同以太网络的数据通信。其次在光存储交换机上通过Zoning方式进行端口隔离，只允许经过授权的端口间进行数据通信。最后通过存储控制器上对主机HBA卡的WWN号和LUN的映射，来确定最终用户能够使用的资源，存储资源是以数据块的方式分配给终端用户。因此基本不存在存储级别的信息泄露问题。用户可以以原有的方式使用SAN，不需要做任何的改动。

 

 

    存储交换机级联后，需要将各交换机的管理网络进行统一，在一个网络域内，由一组管理员来进行统一管理。必要时可以启动光交换机的FCS功能来指定只有在特定的交换机上才能够对所有级联的交换机进行配置更改。

 

 

    6.4 实现存储分层服务

 

 

    由于企业的资源是有限的，因此不能对所有的数据都提供相同的待遇。虽然通过云存储整合，将不同的存储设备集中在一起，但是由于不同的存储设备其内在的性能也不同，数据访问的效率、数据可用性、数据响应时间、数据安全计保护服务等方面都存在较大的差异。这样就需要先规划存储的层次以及数据服务的级别，根据数据的重要性不同，为数据设置不同的存储层次以及相应的服务级别。

 

 

    云存储整合后，可以将原有过保的和性能较低的存储设备降级使用，按照性能和可靠性的高低将存储分层使用，对性能要求高的应用分配高端存储设备，对性能要求较低的分配底端存储设备，测试系统分配可靠性相对较低的设备，使所有的设备都能够物尽其用。通过存储整合，方便了存储备份的管理操作，使LAN-free和Server-less的备份部署方式更加方便灵活，提高了备份的效率。

 

 

    结束语

 

 

    在实验环境中，3个SAN整合成一个新的SAN，原有的3台性能各异的存储设备以及数十台主机全部平滑迁移到新的SAN中，整个迁移过程所有应用系统运行正常，未出现存储连接异常的情况。

 

 

    通过云存储整合，企业内部所有的SAN存储资源形成一个整体，并且体现出分层的存储结构。用户通过单一的连接，就可以使用到不同性能的存储资源。消除了数据孤岛，提高了设备的使用效率。