隨著云計算在全球范圍內的高速發(fā)展，特別是“互聯(lián)網+”在行業(yè)應用的深入融合，行業(yè)及企業(yè)用戶迫切需要高性能、資源彈性、橫向可擴展能力的存儲系統(tǒng)。那么雙控存儲是什么，存儲雙控磁盤陣列具有怎樣的好處和特點呢？

什么是雙控存儲

在多數存儲系統(tǒng)中，為了提高可靠性，防止數據在輸入過程中存儲控制器發(fā)生故障而導致數據丟失，可利用雙控制器來實現(xiàn)，即通過兩個控制器間數據的冗余交互來完成相應的存儲服務，一旦其中一個控制器出現(xiàn)故障或離線，另一個控制器將及時接管故障控制器的工作。提供給用戶高級別的數據可靠性以及業(yè)務連續(xù)性的同時，提高存儲系統(tǒng)的資源利用率。

一般雙控存儲系統(tǒng)，包括主控制器和備用控制器，以及兩個控制器共用的后端磁盤陣列；主控制器的第一緩存和備用控制器的第二緩存互為備份；

雙控制器方案目前廣泛用于中低端存儲系統(tǒng)中，采用PCIe交換芯片(PCIe Switch)+SAS控制器芯片(SAS Controller)+SAS擴展芯片(SAS Expander)的方案，每個主控板都配有1片PCIe Switch、1片SAS Controller和1片SAS Expander芯片，將SAS Expander擴展出來的SAS信號引到背板各個SAS連接器上來接SAS硬盤(HDD)，每個SAS硬盤上需接入2對SAS信號分別對應2個主控板上的Expander芯片；主控板1和主控板2之間通過PCIe Switch NT實現(xiàn)數據交互和空間隔離。

雙控陣列的工作原理

（1）雙控制器冗余機制

雙控陣列不僅要做到兩個控制器完全相同，而且陣列中的電源、風扇及心跳信號等硬件資源也要做到冗余，這樣才能保證發(fā)生故障時，存儲業(yè)務還能順利完成。

（2）工作模式

雙控陣列可以分為主備和雙活兩種工作模式。在主備模式下，兩個控制器被分為主控制器和備份控制器?？蛻舳送ㄟ^主控制器來訪問陣列，備份控制器通過心跳信號實時檢測主控制器的狀態(tài)。當主控制器發(fā)生故障時，備份控制器會主動接管主控制器的業(yè)務，并將備份的數據同步至SSD硬盤中。

在雙活模式下，客戶端可通過任何一個控制器來訪問陣列。兩個控制器要分別備份對方的緩存，并同時相互監(jiān)控對方狀態(tài)。當其中某個控制器發(fā)生故障時，另一個就會重新接管數據業(yè)務，并將緩存數據實時寫入SSD硬盤中。

（3）高速數據同步鏈路

高可用存儲陣列使用外部萬兆以太網接口作為高速數據同步鏈路，并采用TCP/IP協(xié)議來保證數據的可靠傳輸。

（4）心跳模塊

心跳模塊在固定的時間會發(fā)送心跳包給對方，如果沒有收到心跳包，就認為對方控制器發(fā)生了故障。本文研究的雙控高可用陣列中的心跳模塊采用了多種不同的冗余低速鏈路，用來確保心跳信號正常接收。

雙控存儲磁盤陣列不足

1. 每塊主控板上都需要配有1片PCIe Switch、1片SAS Controller和1片SAS Expander芯片，增加了成本；

2. 每塊主控板上都需要配有1片PCIe Switch、1片SAS Controller和1片SAS Expander芯片，增加了硬件設計和PCB布局布線的復雜度；

3. 如果背板上接SATA硬盤，需要在背板上增加SAS轉SATA轉接卡，增加了成本和加工裝配成本。

三種存儲的雙控制器冗余方式

雙控冗余有三種方式：HA、互備（非對稱雙活）、雙活（全對稱雙活）。HA模式是指平時只有一個控制器處理IO，另一個控制器完全不干活，開著機在那待著轉等干活的控制器掛掉，它接管過來，傳統(tǒng)存儲產品中目前沒有人使用HA方式因為不劃算。目前多數產品為互備模式，或者叫非對稱雙活，是指每個Lun都有自己的Owner控制器，比如A控處理Lun1的IO，B控處理Lun2的IO，如果A控收到發(fā)向Lun2的IO，則通過控制器間交換網絡轉發(fā)給B控處理而不能自己私自處理，雙控各干各的互不干擾，不會產生沖突，“非對稱”意思就是“各干各的”，你壞了我接管，我懷了你接管，但是兩個控制器都在干活，所以“雙活”。而對稱雙活，則是指兩個控制器角色完全對等，不再分Lun的Ownership，任何控制器都可以處理任何Lun的IO，這給系統(tǒng)設計帶來了復雜性，首先要求雙控要配合起來，針對已經應答的目標地址有重疊的寫IO，要保證時序一致性，雙控必須做好溝通，以保證正確的IO；另外，同時還要解決數據防撕裂問題，有時候陣列內部會自行讀或者寫某些目標地址數據塊，此時雙控要用鎖來保證每次讀寫的防撕裂，對某個塊的操作可能會被分為多次子IO，這些子IO是一個一致性組或者說組成一次原子操作，中途不能被交織入其他IO，否則就會撕裂導致不一致。正因如此，對稱式雙活增加了開發(fā)難度。但是對稱式雙活能夠以IO粒度來平衡系統(tǒng)的負載，不會出現(xiàn)Lun1太忙而Lun2很閑從而導致A控負載遠高于B控而又無計可施的尷尬。

多路徑如何管理發(fā)向雙控的IO

存儲系統(tǒng)提供了雙控冗余，主機端如何利用起雙控，要依靠多路徑軟件。通常主機會與A控和B控至少各保持一條連接，分別從兩個控制器上發(fā)現(xiàn)到兩份同一個物理Lun的兩份副本，系統(tǒng)中會生成兩個盤符，而多路徑軟件的功能則是負責鏈路故障后的路徑切換、鏈路正常時的IO負載均衡以及冗余盤符的消除。針對非對稱雙活，因為有Lun的Ownership存在，發(fā)向對應Lun的IO要確保走最優(yōu)路徑，也就是不要發(fā)送給該Lun的非屬主控制器，否則將引發(fā)內部轉發(fā)，增加時延，除非在鏈路帶寬達到瓶頸而控制器處理能力未達到瓶頸的時候可以利用這條非最優(yōu)路徑。探測某個Lun的最優(yōu)路徑以及其他一些陣列端的運行信息，需要多路徑軟件與陣列之間做一些信息交互，這些信息可以走帶外通道比如以太網，也可以走帶內通道也就是數據鏈路比如FC/SAS/iSCSI，通常使用后者，而SCSI指令體系內沒有針對多路徑軟件與陣列之間的交互協(xié)議做什么規(guī)定，所以各個廠商都有自己不同的實現(xiàn)模式，比如通過一些特殊指令序列，或者封裝到某些特殊指令內部。正是由于各廠家的交互協(xié)議不統(tǒng)一，所以SCSI體系最新的規(guī)范里定義了ALUA（Asymmetric Logical Unit Access）協(xié)議，期望各廠商按照ALUA協(xié)議規(guī)范來實現(xiàn)多路徑軟件和陣列之間的交互。而對稱式多活由于沒有Lun屬主的概念，多路徑軟件無需與陣列交互復雜的控制數據，最多是控制陣列控制器的切換，所以這塊SCSI沒有定義規(guī)范，但是人們俗稱對稱式多活為“SLUA”以與ALUA區(qū)分，S標示Symmetric。

OS在多路徑問題是怎么演化的？

各種OS早期是不提供多路徑管理的，后來陸續(xù)都被加入了原生的多路徑軟件，比如Linux下的MPIO，AIX下的MPIO，Windows下的MPIO等等，這些OS自帶的多路徑軟件只提供簡單的功能，比如盤符消除，通過識別磁盤的wwn來發(fā)現(xiàn)哪些盤符指向的是同一個物理Lun，從而消掉一個盤符。但是無法提供陣列相關的個性化功能，陣列廠商如果需要滿足這些高級功能的話就必須提供自己的多路徑軟件，將其作為一個插件的形式，掛接到MPIO框架之下從而實現(xiàn)高級功能。有些多路徑軟件會保留原生的盤符，而創(chuàng)建一個新盤符，比如將/dev/hdisk1和/dev/hdisk2這兩個冗余盤符生成一個/dev/vpath1盤符，系統(tǒng)中會同時存在這三個盤符，針對/dev/vpath1的訪問會享受到多路徑軟件帶來的路徑自動切換，io負載均衡等功能，而直接訪問/dev/hdisk1或者/dev/hdisk2也是可以的，就無法享受多路徑帶來的利益了，一旦/dev/hdisk1這條路徑down掉，這個盤符便會消失，應用比那會停掉。有些多路徑軟件運行在更底層，會直接生成一個/dev/hdisk1盤符，而這個盤符底層已經對應了多條路徑，這樣可以避免盤符層次過多引起的管理混亂。

存儲的多控制器

至于多控存儲系統(tǒng)，一般指分布式多控，也就是多控之間并不是共享訪問所有后端JBOD的，富士通的高端存儲除外，其后端采用SAS Expander將所有HDD呈現(xiàn)在一個大的SAS域中，富士通是真多控對稱式多活。多數實現(xiàn)都是雙控共享一堆JBOD，然后多組雙控再結合成分布式存儲，也就是所謂的”Server SAN，某廠商最近發(fā)布的系統(tǒng)其實是4控共享訪問后端JBOD，當然，JBOD里只有兩片Expander，接不了4控，所以4控和JBOD之間還需要增加兩片SAS Expander作為路徑擴充使用。由于并非共享式集群而是分布式集群，所以其原本就是非對稱式多活了，各個節(jié)點或者節(jié)點組各管各的磁盤，但是每個控制器節(jié)點都可以接受IO，只不過遇到不是給自己管轄磁盤范圍的IO則需要轉發(fā)處理。有些廠商為了維持自己傳統(tǒng)高端的共享內存架構的形象，在分布式集群內，實現(xiàn)了全局共享緩存，當然這個共享緩存并非傳統(tǒng)高端那種真內存地址空間共享了。而有些則是赤裸裸的分布式架構，逼格直逼ServerSAN。