統一存儲

統一存儲(有時也稱網路統一存儲或者NUS)是一個能在單一設備上運行和管理檔案和應用程式的存儲系統。為此,統一存儲系統在一個單一存儲平台上整合基於檔案和基於塊的訪問,支持基於光纖通道的SAN、基於IP的SAN(iSCSI)和NAS(網路附加存儲)。

基本介紹

  • 中文名:統一存儲
  • 外文名:unified storage
定義,工作方式,優勢,挑戰,統一存儲系統,設備類型,基本標準,多協定支持,自動精簡配置,自動分層,刪除技術,

定義

統一存儲,實質上是一個可以支持基於檔案的網路附加存儲(NAS)以及基於數據塊的SAN的網路化的存儲架構。由於其支持不同的存儲協定為主機系統提供數據存儲,因此也被稱為多協定存儲。

工作方式

既然是一個集中化的磁碟陣列,那么就支持主機系統通過IP網路進行檔案級別的數據訪問,或通過光纖協定在SAN網路進行塊級別的數據訪問。同樣,iSCSI亦是一種非常通用的IP協定,只是其提供塊級別的數據訪問。這種磁碟陣列配置多連線埠的存儲控制器和一個管理接口,允許存儲管理員按需創建存儲池或空間,並將其提供給不同訪問類型的主機系統。最通常的協定一般都包括了NAS和FC,或iSCSI和FC。當然,也可以同時支持上述三種協定的,不過一般的存儲管理員都會選FC或iSCSI中的一種,它們都提供塊級別的訪問方式,和檔案級別的訪問方式(NAS方式)組成統一存儲。

優勢

規劃整體存儲容量的能力——通過部署一個統一存儲系統可以省去對檔案存儲容量以及數據塊存儲容量分別進行規劃。
利用率可以得到提升,容量本身並沒有標準限制——統一存儲可以避免與分別對數據塊及檔案存儲支持相關的容量利用率方面的問題,用戶不必擔心買多了支持其中一種協定的存儲而少買了支持另外一種協定。
存儲資源池的靈活性——用戶可以在無需知道套用是否需要數據塊或者檔案數據訪問的情況下,而自由分配存儲來滿足套用環境的需要。
積極支持伺服器虛擬化——在很多時候,用戶在部署他們的伺服器虛擬化環境的時候都會因為性能方面的要求而對基於數據塊的裸設備映射(RDM)提出要求。統一存儲為用戶如何存儲他們的虛擬機提供了選擇,而無需像之前那樣分別購買存儲區域網路(SAN)和網路附屬檔案存儲(NAS)設備。

挑戰

一般來說,SAN和NAS管理在不同的組裡,通常SAN是由數據存儲管理員管理,而NAS則是由系統或者網路管理員管理。容量劃分也通常分開執行,因為他們對共享資源感到恐懼並且害怕如果一切劃分容量可能會導致性能問題。此外,他們在對管理檔案共享資源和磁碟容量之間的細微差距上也存在問題。並且需要知道的是,加固共享平台對降低需要被管理的檔案共享沒有太多幫助,這本身也是一個挑戰、。
共享的數據存儲能夠被所有的應用程式訪問。
共享訪問模式中,每個數據位都將會被各種格式來同時訪問:作為CIFS或者NFS檔案,一個RESTful格式的對象檔案,Hadoop對象或者其他任何類型。
支持所有設備接入——平板電腦、智慧型手機、筆記本電腦、桌面或平板手機——支持今天的移動辦公。
還有一些其他的內容都是必須的,例如隨著數據量的增加而進行架構的橫向擴展;某些形式的數據分層,從而過期數據能夠遷移到性能較低,成本低廉的介質上;高可用性,當存儲組件失效時各種應用程式不會崩潰;還有就是糾刪碼,壓縮和重複數據刪除等提高效率的特性。

統一存儲系統

統一存儲系統:前端主機接口可支持FC 8Gb、iSCSI 1Gb和iSCSI 10Gb,後端具備SAS 6Gb硬碟擴展接口,可支持SAS、SATA硬碟及SSD固態硬碟具備極佳的擴展能力。實現FC SAN與IP SAN、各類存儲介質的完美融合,有效整合用戶現有存儲網路架構,實現高性能SAN網路的統一部署和集中管理,以適應業務和套用變化的動態需求。主機接口及硬碟接口均採用模組化設計,更換主機接口或硬碟擴展接口,無須更換固件,可大大簡化升級維護的難度和工作量。

設備類型

根據支持協定的不同,統一存儲設備可分為四種類型:
FC+iSCSI+CIFS/NFS
即支持FC與iSCSI兩種塊讀寫協定,以及CIFSNFS兩種最普遍的檔案傳輸協定。顯然的,這種類型的存儲設備能支持的範圍最廣,無論是SAN、NAS等形式的套用,還是光纖通道、乙太網絡等不同類型的傳輸通道都能支持。企業可以單一系統同時滿足各類讀寫要求,無論是管理或是建設都相當方便。
這類系統可分為從NAS為基礎出發,進而延伸到SAN,如NetApp的產品即為由NAS延伸到SAN的典型;某些產品是以相反的路線延伸,即以FC SAN的磁碟陣列為基礎,通過在控制器增加支持不同傳輸連線埠的板卡,來支持iSCSI與NAS的讀寫。
FC+iSCSI
這類產品只能支持SAN的塊讀寫環境,但能支持光纖通道與乙太網絡兩種傳輸方式,因此企業可讓前端執行線上資料庫或ERP等關鍵任務的伺服器,通過光纖通道來讀寫SAN,以取得較佳的性能。至於像資料庫測試開發等不需特別講求性能的套用,就可改由iSCSI來讀寫SAN,因此這種組合能兼顧性能與成本。
FC+CIFS/NFS
這種組合就是FC SAN加上NAS網關的一種衍生髮展,是在FC存儲設備的控制器中,增加可支持CIFS/NFS檔案讀寫的卡板
iSCSI+CIFS/NFS
由於同樣都是使用乙太網絡作為傳輸介質,因此iSCSI加NAS是很理所當然的組合,如果不特別講求性能,任何能連線IP網路的伺服器都能輕易的當作NAS使用。有許多現成的iSCSI Target軟體可用,可輕易把伺服器當成iSCSI的設備,因此iSCSI+CIFS/NFS這種組合已日漸普遍。

基本標準

多協定支持

多協定支持可謂是統一存儲率先受到人們關注的要素,一直以來專家都認為對多協定的支持能夠給用戶帶來非常的價值,在統一存儲環境之中,存儲資源變成一個共享資源池來存儲數據塊或者檔案數據,根據套用需求來配置存儲資源,從而提升用戶自身的存儲效率。
雖 然之前用戶可以通過NAS網關的方式,將SAN磁碟陣列的空間分隔出來,供檔案讀寫之用,從而實現多協定的支持,但這種方式並不經濟,用戶需要承擔NAS 網關的額外建設與管理費用。因此,對於用戶而言,最方面的仍然是在單一存儲設備上同時支持多種協定,這也成為當前主流統一存儲系統所標配功能。
圖一:NetApp統一存儲架構。圖一:NetApp統一存儲架構。
當前統一存儲系統需要支持FC、iSCSI、FCoE等塊協定,還需要支持CIFS、NFS兩種最普通的檔案協定。除此之外,已經有越來越多統一存儲在協定支持方面越來越廣,甚至已經有一些廠商在統一存儲中增加了對對象存儲數據的支持。
當 然,統一存儲對於多協定的支持最終還需要在管理軟體上得到體現,如果在管理軟體上不能實現統一,即是在硬體層面上能夠支持多種協定或多個接口也並不能算真 正意義上的統一。環顧業內各大廠商的存儲系統,有些廠商的統一存儲產品仍然在進行管理軟體的整合與統一(有些產品在一個統一界面下,仍然有兩個管理軟體, 通過Link的方式來切換轉移到相應的管理軟體),不過管理軟體的統一必然是未來的大勢所趨,也已經成為統一存儲必備標準之一。
統一存儲
圖二:HDS統一存儲產品HUS的統一管理平台Hitachi Command Suite,通過統一管理平台能夠管理不同類型的數據存儲。

自動精簡配置

自動精簡配置是一種利用虛擬化技術來減少物理存儲部署的技術,目的是為了最大限度提升存儲空間利用率。其原理非常好理 解,用戶為確保套用的存儲容量夠用,在部署套用時往往會多於當時實際需求的物理空間,然而在套用實際運行期間,所部署的存儲容量未必能夠得到充分利用,自 動精簡配置技術正是根據用戶這種實際使用情況而誕生。
統一存儲
圖三:自動精簡配置模式與傳統存儲容量配置模式對比。
事實上,自動精簡配置技術過去一直屬於高端存儲系統的“專利”,然而隨著高端存儲功能越來越多的下移,自動精簡配置技術也逐漸出現在中端存儲系統之中,統一存儲作為之前中端存儲系統的替代品,自然也就集成了該項技術。
統一存儲
圖四:自動精簡配置技術已經成為統一存儲的標準配置技術。
之 所以說自動精簡配置技術成為統一存儲的標準配置技術,是因為伺服器虛擬化已經逐漸普及促進了自動精簡配置技術在之前的中端存儲、現在的統一存儲上面的應 用。在伺服器虛擬化環境下,每個虛擬機都有自己的啟動卷和數據卷,啟動卷的容量由作業系統和啟動軟體決定,利用自動精簡配置技術,則能夠大幅精簡虛擬機的 各種數據,從而為用戶節省了大量存儲空間。除此之外,固態硬碟在存儲系統中的逐漸普及也在推動自動精簡配置的發展,固態硬碟並不存在磁碟碎片影響的問題, 使得自動精簡配置技術更加容易在固態硬碟上運行。
統一存儲
圖五:惠普3PAR的自動精簡配置技術是自動精簡配置技術的典型代表。
除 了基於塊級的自動精簡配置技術外,基於檔案系統的自動精簡配置技術也同樣獲得了廣泛關注,自動2002年推出了基於檔案系統的自動精簡配置技術,大部分 NAS廠商都提供了這一功能,包括EMC、NetApp、HDS、Symantec的產品都配備基於檔案系統的自動精簡配置技術,用戶部署這一技術之後, 能夠讓檔案系統自動地擴展。
事實上,隨著統一存儲逐漸普及,自動精簡配置技術無疑成為統一存儲的標準配置功能,在伺服器虛擬化套用越來越廣泛以及非結構化數據快速增加的今天,自動精簡配置技術會讓統一存儲更具競爭力,同時能夠更好地滿足用戶套用需求。

自動分層

自從固態硬碟逐漸被存儲廠商納入到存儲系統之後,固態硬碟的諸多優點就吸引著廣大用戶的關注,速度快、抗震、能耗低等優點 是廣大用戶趨之若鶩的原因,然而固態硬碟其昂貴的價格卻是橫跨在用戶使用面前的屏障,在這種背景下,自動分層技術就蘊育而生,通過自動分層技術讓熱點數據 存儲在固態硬碟之上,讓非熱點數據存儲在便宜的存儲介質之上,從而讓整個存儲系統能夠做到物為所用、有的放矢,實現存儲效率最大化。可以說,沒有自動分層 技術的存儲系統添加固態硬碟也毫無意義。
統一存儲
圖六:自動分層技術將隨機I/O轉移到高性能介質(快閃記憶體)上,減少機械磁碟的I/O負擔,從而大幅提升存儲系統I/O性能。
其 實,自動分層技術剛開始推出之時,也是屬於高端存儲系統的“專有”,類似自動精簡配置技術一樣,伴隨著越來越多高端存儲功能往下遷移,已經有很多中端存儲 系統中具備了自動分層功能,基本上現在市場上所有的主流統一存儲產品都具備了自動分層功能,包括EMC VNX系列、IBM V7000 Unified、HDS HUS系列、NetApp FAS系列等等。
目前自動分層技術在存儲系統中主要有兩種方式,一種是基於遷移的自 動分層技術,可自動化數據遷移的流程,能夠根據數據的“冷熱”程度自動調節與遷移到相應存儲介質,典型代表就是EMC VNX的FAST VP技術;另外一種是基於快取的自動分層技術,將固態硬碟作為快取使用,將熱點數據放到高性能介質中,在磁碟上保存副本,典型代表就是NetApp的 Flash Cache技術。
統一存儲
圖七:EMC VNX FILE中使用FAST VP自動分層技術。
統一存儲
圖八:NetApp的PAM技術(現在已經改名為Flash Cache)。
隨著各大廠商不斷的完善技術,很多廠商往往都能夠同時提供基於快取和基於遷移的自動分層技術給用戶,讓用戶具有更多的選擇,可以所自動分層技術已經成為統一存儲的標配功能。

刪除技術

壓縮或重複數據刪除技術因為Data Domain的興起,使得該項技術或者理念在備份領域得到了廣泛認可,用戶們在備份之時充分利用了重複數據刪除理念來降低數據存儲空間,提升存儲利用率和 災備效率。事實上,早在幾年前重複數據刪除最為火爆時,業內就在探討重複數據刪除或者壓縮技術進入主存儲的可能性,當時已經有一些廠商在嘗試這種可能性。 而隨著時間的推移,壓縮或重複數據刪除技術已經逐漸成為主存儲系統中一項功能,特別在虛擬機套用大量興起的今天,大量虛擬機其實存在著很多重複數據,對這 些數據進行壓縮將有益於提升存儲系統的空間利用率以及存儲效率。
提到存儲系統的重複數據刪除或壓縮技術,就得提NetApp很早推出的 A-SIS Deduplication技術,NetApp將該項技術套用到期FAS系列產品之中,由於集成在其統一的管理系統DataOntap之中,使得所有 FAS系列產品都能夠享受到這項技術的好處。
圖九:NetApp FAS系列重複數據刪除工作原理。
圖十:NetApp A-SIS重複數據刪除技術的處理流程。
統一存儲
統一存儲
除了NetApp之外,其他廠商也一直在主存儲重複數據刪除或壓縮技術上下功夫。EMC在之前NAS平台就具有重複數據刪除或壓縮技術,分別基於 Avamar和RecoverPoint,為了彌補其統一存儲VNX在塊級重複數據刪除技術的缺失,EMC公司在2011年下半年將基於塊級的重複數據刪 除技術添加到RecoverPoint代碼庫之中。IBM公司則已經將線上實時壓縮技術Storwize STN技術整合到其統一存儲平台V7000 Unified,使得用戶在數據最初被創建時即進行最佳化,數據在被寫入磁碟時將其進行壓縮。而戴爾也計畫將其壓縮技術Ocarina整合到其統一存儲平台 之中。
可以預見,壓縮或者重複數據刪除技術已經收到大部分廠商的重視,逐漸成為統一存儲標準配置之一,好的壓縮技術或者重複數據刪除技術能夠讓統一存儲平台更加高效。

相關詞條

熱門詞條

聯絡我們