基本介紹
- 中文名：分層存儲與虛擬化技術
- 外文名：Tiered Storage
- 又名：層級存儲管理
- 解釋：將數據存儲在不同層級的介質中
圖書內容,分層存儲,存儲虛擬化,
圖書內容
隨著信息技術的發展，新產生的電子數據近年來呈現出井噴式的增長，而這又帶動著對於存儲的大量需求。這種需求增長不僅僅限於企業用戶，多媒體數據、郵件等個人信息也使得普通用戶對於存儲容量的需求也出現了明顯的增長。當前PC的標準存儲容量配置300G、500G已經是非常普遍的了。想像一下前幾年配置容量為40G，60G的時代，甚至更往前到KB、MB的時代，似乎現在的機器容量配置實在是十分奢侈。我們不需要引用 IDC 對於存儲市場的調查分析數據，我們都已經切身感受到自己似乎身處於電子數據宇宙中。
市場的發展推動需求的提高，並且催生新的需求，而這些變化及新需求又推動著技術的進步與變革。滿足市場的需求無外乎在於對原有技術的深耕細作、組合升級原有技術、或者發明一種新的技術手段。而存儲市場也不外乎這樣的發展歷程。需求、市場、變化推動著我們不得不重新思考原有技術實現，推動我們再深入研究不同的技術。而外部軟、硬體技術的發展也使得我們可以以一種全新的套用方式來發展及深化這些技術，讓這些技術生出春天般的生命力。
特別是虛擬化技術出現，則完全催生出一個全新的存儲套用。同時，諸如這樣新的存儲套用及其他的需求，則促使我們對於存儲分層技術及存儲虛擬化技術的進一步探索研究。
分層存儲
什麼是分層存儲：
分層存儲其實已經不是一個新鮮的概念，而是已經在計算機存儲領域套用多年。其與計算機的發明與發展相伴相生。在馮－諾依曼提出計算機的模型“存儲程式”時就已經包含了分層存儲的概念。“存儲程式”原理，是將根據特定問題編寫的程式存放在計算機存儲器中，然後按存儲器中的存儲程式的首地址執行程式的第一條指令，以後就按照該程式的規定順序執行其他指令，直至程式結束執行。在這裡的外存儲器與記憶體儲器，就是一個分層存儲的最初模型。
分層存儲（Tiered Storage），也稱為層級存儲管理（Hierarchical Storage Management），廣義上講，就是將數據存儲在不同層級的介質中，並在不同的介質之間進行自動或者手動的數據遷移，複製等操作。同時，分層存儲也是信息生命周期管理的一個具體套用和實現。
而實際上，將相同成本及效率的存儲介質放在不同層級之間進行數據遷移複製在實用性及成本上並不是有效的數據存儲方式。因此，在不同的層級之間使用有差別的存儲介質，以期在相同成本下，既滿足性能的需要又滿足容量的需要。這種存儲介質上的差別主要是在存取速度上及容量上。存取速度快的介質通常都是存儲單位成本（每單位存儲容量成本，如1元/GB）高，而且容量相對來講比較低。相應的，存取速度慢的介質通常是為了滿足容量與成本方面的要求，既在相同的成本下可以得到更大的容量。所以，從這方面來說，分層存儲其實是一種在高速小容量層級的介質層與低速大容量層級的介質層之間進行一種自動或者手動數據遷移、複製、管理等操作的一種存儲技術及方案。
一般來說，分層存儲中，我們將存取速度最快的那一層的介質層稱為第0層（Tier 0），依次為第1層，第2層等等。理論上說，層級的劃分可以有很多層，但是在實踐中，最多的層級在5層左右。過多的層級會增加數據及介質管理的難度及可用性。因此在層級的設定上有一個拐點，即層級達到一個特定的層數時，會導致成本的上升，而使得可用性、可靠性都會相應下降。通常層級的設定在2－4層之間。如下圖所示：
為什麼需要分層存儲：
在計算機系統中，CPU 的運行速度往往要比記憶體速度快上好幾百倍甚至更多，為了更多地榨取CPU的計算能力，就需要在訪問數據的速度上進行提升，否則記憶體的速度將成為整個系統的性能短板。因此在這樣的思想下，CPU慢慢發展出來1級或者2級這樣的存儲快取。實際也表明，快取的存在確實對於系統性能的提升起到了巨大的推動作用。
相應的，記憶體的訪問速度又是硬碟訪問速度的幾百倍甚至更多，也是基於CPU類似的指導思想，我們能不能在存儲之間也進行這樣的分層（或者說快取）以期提高系統的I/O性能，以滿足套用對系統提出的更多高I/O的需求呢？
從某種意義上說，記憶體其實也就是充當了CPU與外部存儲之間的另一個級別的快取。作為用戶來講，我們當然希望所有需要用到的數據都最好是存在最高速的存儲當中。但是這樣近乎是烏托邦式的理想至少在當前來說是不現實的。在技術上的難度不說，成本的壓力就會使得用戶喘不過氣來，再一個就是有沒有必要的問題，因為有的數據根本都不需要一直存於這樣的存儲中。在計算機界中有一個很有名的理論，就是說，加上一個中間層，就可以解決計算機中許多的問題。而這個“中間層”也正是我們所尋求的，實際也證明這樣的中間層確實取得了非常好的效果。
據IDC數據預測，到2012年，信息數據的增長將會達到50%的複合年增長率，這個增長主要源於越來越來多數據內容生成並存儲，經濟全球化使用商業各個部門及與商業夥伴之間需要保持連線，使得更多的數據被生成，複製及保存。法規遵從及管理，還有容災與備份都使得數據的增長持續上升。天下沒有一勞永逸的解決方案，我們需要根據不同的數據存儲需求，設計不同的存儲方案。比如歸檔，我們可以將數據存儲在磁帶上，比如需要頻繁訪問的實時數據我們可以放在記憶體或者SSD（固態硬碟）設備中，對於容災或者備份，我們可以使用大容量低成本的存儲來應對。正所謂好鋼用在刀刃上，用戶也希望把資金投向更能產生效益的存儲上。
除了需要滿足不同的存儲需求，還有出於對於高性能高吞吐量套用的支持。因為有的套用需要這樣存儲系統。特別是現在風頭正勁的虛擬化技術。為了在一台設備上支持更多的虛擬套用，就需要系統支持更大的吞吐量以及更高的性能。全部採用高速介質在成本上現在依然不是可行的，也不是必須的。因為根據數據局部性原理，往往被頻繁訪問的數據是局部而有限的。為了應對部份這樣的數據而全採用高速存儲實在是過於奢侈。如果我們針對這部份數據另開小灶來解決不是更好？所以分層存儲在這裡就可以大展拳腳。我們把高頻率訪問的數據放在高速存儲介質上，而其他的數據放在速度較慢一些的介質上，這實際上就是提高了系統的吞吐量。
分層存儲介質的分類：
從計算機系統角度來說，最上層的存儲層應該是CPU內的各類型暫存器，其次是CPU內的快取，其次再是系統記憶體。因為從分層存儲的定義上，此類型存儲器是符合定義規則的。因為這些存儲器速度與容量都有差別，越靠近CPU的存儲器成本越高，速度越快，容量越小，並且在CPU的控制下，數據這些不同類型的存儲器中間進行自動的轉存。比如暫存器通常在16、32、64、128位之間，而快取則在幾十個位元組及到幾兆位元組之間，記憶體容量當前通常都在幾百兆位元組以上，伺服器級的記憶體也上幾十個吉位元組。很有意思的是，這類型的分層也非常符合上圖所示的效益成本曲線圖。層級過多時，對於CPU的硬體設計及不同層次之間的數據一致性的保證都是一個挑戰。所以，現代CPU在暫存器與記憶體之間的快取基本在1-3級。而我們通常使用的386平台的CPU（Intel 及 AMD）基本上都只有兩級快取。這類存儲都有一個共同的特點，就是系統掉電後數據不復存在。我們將此類型的分層存儲稱為易失性存儲分層，或者內部存儲器分層存儲。
而另外一種分類，則是非易失性分層存儲，或者叫外部分層存儲。此類型的存儲介質一般包括固態硬碟（SSD）、機械式硬碟、光碟、快閃記憶體盤（包括外置硬碟）、磁帶庫等等。而此類的存儲介質分層正是我們所要關注的，如沒有特殊的說明情況下，在此文檔中所說的分層存儲都是指外部分層存儲。一般來說，作為第0層的存儲介質通常為 RAM 磁碟（隨機訪問存儲磁碟，其速度與記憶體同速，但是價格昂貴，使用環境基本上是特殊計算環境）以及 SSD，第1層可能有 FC 15K硬碟或者SAS 15K硬碟，或者相應的10K硬碟。第2層可能有其他類型的硬碟及磁碟庫等。第3層，可能是如磁帶庫以及光碟庫這樣的離線介質。當然這樣的分層不是標準，但是一個實踐中常用的分層策略。
如 D2D2T 這樣的存儲方案，其實就是分層存儲的一個實踐方案。數據從本地的磁碟轉存於於另一個遠程的磁碟（D2D）。這個磁碟的形式可以是一個JBOD，或者一個虛擬存儲設備，然後再通過一定的轉存策略將這個磁碟的數據轉存於磁帶庫或者磁帶（D2T）。愛數備份存儲櫃X系列都支持D2D2T這樣的套用。
分層存儲需要考慮的問題：
由上一節可知道，外部分層存儲只不過是內部分層存儲的一個外延。所以，外部分層存儲考慮的問題與內部分層存儲實際上是大同小異的。
1、 首先是數據一致性的問題。這個問題比較好理解。如果不同的數據在不同的存儲層級之間存在時，數據的改寫必然導致數據的不致的問題。在內部分層存儲時，可以採用通寫策略或者回寫策略。而不同的方法也有各自優缺點，這裡就不再贅述。但是外部分層存儲與內部分層存儲有一個最大的不同是，記憶體儲最終數據需要寫到記憶體中，而外分層存儲中，則不是必須的。當然也可以設計成這樣的實現方案，但是這樣話，分層存儲的性能優勢則必定會受到影響。數據在不同層級之間的連續性可以由一個虛擬層來保證。這個我們在談到虛擬化時會討論這個問題。
2、 第二個問題就是命中率的問題。如何設計一套算法或者實現策略來提高數據系統的命中率是分層存儲中是否能起到其相應作用的關鍵。這個與CPU的快取機制是完全一樣的。不過，CPU的快取機制已經有一套非常成熟的算法設計。而外部分層存儲與內部分層存儲有其不同的特性，因此，CPU中的快取機制不能全部照拿過來用。特別是CPU的快取機制還主要是硬體設計上面的問題。而外部存儲層可能還與一些邏輯設計相關，比如檔案系統，檔案等。從這點上說，外部分層存儲的軟體設計上比起CPU快取的設計可能要更複雜一些。
3、 第三個問題就是在分層介質的選擇上。上面也提過，不同層級之間的介質應該是有差別的，否則就失去了分層的意義。一般來說，高速介質應該是小容量、高成本，隨著層級的往下走，其成本容量曲線應該呈現如下的形式：
2、 第五個問題就是數據的遷移策略的設計。可以根據數據的重要性、訪問頻度、大小、年齡來制定遷移策略。但是如同第四點所說明的那樣，不同的策略是有不同的套用場合的，沒有孰優孰劣的問題。好的策略應該是不同最優策略的組合，也就是因“需”制宜地選擇合適的遷移算法或者方法。根據年齡進行遷移的策略可以用在歸檔及容災備份系統中。根據訪問頻度則可以用於虛擬化存儲系統中等等。類似的方法已經用於計算機軟體設計或者硬體設計當中的很多地方，如LRU（最近最少使用）、ARC（自適應交替快取）都是可以借鑑的。
存儲虛擬化
什麼是存儲虛擬化：
根據SNIA（Storage Networking Industry Association，中文譯名為“存儲網路聯合會”）官方對於Virtualization（存儲虛擬化技術）的定義，如下：
1、 是將存儲（子）系統內部功能與具體套用、主機及通用網路資源分離、隱藏及抽象的行為。以期達到存儲或數據管理的網路無關性。
2、 對於存儲服務及設備的虛擬化套用，以期達到整合設備功能、隱藏複雜細節以及向已經存在的底層存儲資源添加新的套用。
從上面的定義可以看到，虛擬化包括兩層的含意，一個是動詞，一個是名詞。動詞表明了如何來達到虛擬化，而名詞則說明了套用的目的。對於當前數據的幾何式增長以及帶來的數據管理的複雜性，加之存儲、備份及容災需求的發展，存儲系統需要一個更高級的抽象，以此來獲得套用的更大的靈活性。
虛擬化存儲與存儲虛擬化是兩個極易混用的概念，簡單來說，存儲虛擬化是指就是指的SNIA中的第一個定義，既將存儲抽象;而虛擬化存儲則是第二條定義，既是側重於對存儲虛擬化的套用。也就是存儲虛擬化與虛擬化存儲是同一個概念（Virtualization）的兩個面。因此為了避免在兩者之間跳來跳去，在此文檔中，都將這兩個概念統一稱為存儲虛擬化技術。當要特別指明是哪個面的時候，我們就直接使用相應的概念。
存儲虛擬化技術的前世今生：
與分層存儲技術一樣，存儲虛擬化技術是與計算機一起發展起來的概念。比如記憶體系統中的地址就是對於記憶體位置及其數據的一種抽象。這種抽象其實就是一種虛擬化。其次到外部存儲器中，對於硬碟扇區一開始使用（CHS）編址方式到的LBA編址方式就是一種存儲虛擬化技術，再到後來的RAID技術，再到分層存儲都是在不同等級上的虛擬化。因此，虛擬化技術由來已久，只是在當前數據暴增的情況下，對於存儲虛擬化技術提出了更高層次的抽象要求，加上虛擬機技術也為這個概念推波助瀾，使得存儲虛擬化技術從深宮走向台前成為婦孺皆知的名詞。
關於SNIA的共享存儲模型：
為了讓終端用戶與存儲設備生產廠商能在同一個平台概念上進行討論，SNIA 對於存儲定義了一個SNIA共享存儲模型，如下示：
在上面的模型中，虛擬化技術可以在不同的層進行抽象。當然，在第一級的抽象中就有CHS以及LBA的編址方式。而每一個層都為上一層提供虛擬化接口。當然，最底層與最上層因為沒有更下一層及更上一層，他們是這個模型中的兩個端點。最底層永遠為上一層提供虛擬化接口，而最上一則只使用其下一層的虛擬接口。
為什麼需要存儲虛擬化技術：
隨著技術的發展以及對於數據存儲及管理的要求不斷在提高，對於存儲系統所提出的要求也自然水漲船高。比如達到100%的系統可用時間以及對於系統失效的容災能力，即系統的單點失效不會導致整個系統的癱瘓。而隨著企業自身的發展及建設，企業內部的存儲基礎架構基本都是異構的平台。而這樣的複雜性已經成為保證業務連續性的障礙。而存儲中此類型的諸多問題其實都可以通過存儲虛擬化技術來解決：
1、 在沒有虛擬化技術的支持的情況下，SAN網路上單點的失效或者交換的失效是一個嚴重的問題，企業則為了保證存儲的可用性及連續性不得不投入高昂的費用，以此來保證整個存儲系統的可靠性。
2、 存儲中的性能是評價一個存儲系統服務質量（QoS）的關鍵參數。在異構平台環境中，為了保證滿足套用要求的存儲性能是一個極為複雜的工作。存儲虛擬化技術使得在性能的保障上提供了實現可能性，也保證了可評估的QoS。
3、 存儲中的數據對於企業的日常的工作及生產都是至關重要的，對於數據的丟失所適成的損失對於一些企業來說可能就是一場災難，而存儲虛擬化技術可以在這一方面大有所為。虛擬化技術則使得用戶可以以可承受的成本代價得到高端的解決方法。
4、 對於純存儲（磁碟）的需求的增長，導致了存儲空間的套用效率變低。據調查在開放式系統中對於存儲的利用率，磁碟僅為30-50%，而磁帶為 20-40%，也就是說，企業每買一個GB的同時需要多買2-3G的存儲，產生這種低使用率的問題主要原因是存儲與主機的綁定關係，為了保證每個主機都能正常工作，用戶常常一次性分配大量的存儲空間，而這些存儲空間即使在未使用的情況下，也不能被其他的主機占用。而虛擬化技術可以提供這樣的按需提供的功能，並且與分層存儲結合在一起，可提供不同等級的服務質量。
存儲虛擬化技術的分類：
存儲虛擬化技術根據不同的分類原則會有不同的類型。比如根據虛擬化實現在數據傳輸路徑中的位置來分有帶內與帶外的虛擬化，根據虛擬化在存儲結構棧中的位置可以分為磁碟虛擬化或者磁帶虛擬化。又根據虛擬化的粒度則可以分為檔案/記錄型虛擬化，數據塊型虛擬化。由於與本文檔主要討論分層存儲及虛擬化技術關係的原因，我們這裡只關注於兩種虛擬化類型，一是檔案/記錄型虛擬化，一個是塊級虛擬化。
檔案/記錄型虛擬化
對於使用這個類型的虛擬化的一個非常典型的例子就是HSM，即層級存儲管理，也就是此文檔所說的分層存儲。這種虛擬化技術自動地在不同的層級之間的存儲之間進行數據遷移，對於套用來說，這個過程是透明的。通過相應的指針及檔案元數據，虛擬化存儲層可以很方便在各層之間查找數據，並將數據返回給用戶，而請求者不需要知道詳細的檔案物理位置，並且自動將用戶的數據存於不同的存儲層中，以釋放相應的I/O吞吐量及存儲空間，使得用戶的投資得到保護，並且也提高了系統的總體性能。
塊虛擬化
近來這種虛擬化技術受到越來越多的關注，而這種虛擬化技術處於SNIA存儲模型的第二層。此虛擬化技術處理的主要是塊級存儲的磁碟，而很多的廠商在提及塊級虛擬化技術時指的就是這種技術。
存儲虛擬化技術的實現：
存儲虛擬化技術由於類型眾多，而它們所處於存儲棧位置也不一樣，因此其實現技術也相當的多，而且所關注的面也不一樣。比如 RAID 技術其實就是基於存儲設備的存儲虛擬化技術實現之一，還有卷管理技術 LVM，包括 SoftRAID 也都是存儲虛擬化的實現技術。作為與本文所討論的存儲分層存較為接近關係原因，我們這裡重點介紹一下基於主機及存儲設備的虛擬化技術的實現。而對於基於網路的虛擬化技術實現主要用於數據中心級的存儲規劃中。特別的，這三種實現技術可以同時結合起來，或者一個以另一個為基礎來實現。
這種虛擬化技術是最常用的虛擬化技術之一。這種技術從桌面套用到數據中心的伺服器上都存在，並且一般通常都與卷管理技術結合在一起。因為DAS的大量存在，並且卷管理技術已經是作業系統內置的一個功能。當然更高級的第三方的卷管理技術實現也是很常見的一種方式。這種技術的好處就是成熟穩定，並且開放。因此可用於各種異構的環境中。而缺點就是這個虛擬化技術是以伺服器主機為中心的。所以，這個虛擬化技術必須以主機為單位進行實現。這使得將不同的存儲系統整合成更大、更複雜的存儲系統較為困難。因此，有的廠商提供所謂的集群卷管理技術，使得在異構的伺服器中共享不同卷以並以單獨卷的方式進行存儲管理。
基於存儲設備的虛擬化實現
其實這種虛擬化技術就是磁碟陣列，但並不僅限於RAID，其中包括快照、LUN 遮罩以及影射等，這些實現技術都是塊級虛擬化的實際例子。而這種技術同樣適用於SAN以及DAS環境中。這種虛擬技術不依賴於特定的主機以及作業系統，通過調整與硬體設備相關一些特性，如Cache，就可以取得更好的性能。但這種虛擬化技術的缺點就是虛擬技術的套用只能限於在一個陣列里，不能做到跨陣列進行存儲的管理與整合。
通常的情況下，上面的兩種虛擬化方式都是組合在一起使用的，使得虛擬化技術即有基於主機的卷管理的靈活性，也通過基於存儲的虛擬化取得性能上的好處。比如在陣列中的數據可以通過條帶化將數據分布在不同的磁碟設備上，這樣讀寫性能就會得到相應的提高。如果以基於主機的虛擬化技術將卷建立在這樣的磁碟陣列中，馬上就可以得到性能上的提升。諸如此類的結合也說明虛擬化技術的實現不會以單獨的形式出現，而是多種虛擬化技術的相互補充。
存儲虛擬化的未來：
3、 數據中心級的卷及檔案系統。如果一個卷指派給不同的系統進行同時數據訪問，有些問題就需要特別注意以保證數據的一致性。一個簡單的解決方法就是實現一個集群檔案系統，由這個集群檔案系統來管理不同伺服器對於數據的訪問。而當前的情況下這些檔案系統都是在同構的環境實現的。為了使得這個集群檔案系統成為可能就需要對不同的作業系統及其對卷中存儲的使用以及檔案系統都要進行虛擬化。
