交換級

交換級

在交換機中構成交換網路的一個子集的交換裝置。交換級的設計就是為了彌補自身記憶體空間的不足通過擴展SSD作為快取空間緩Hadoop集群中的數據。

中文名稱交換級
英文名稱switching stage
定  義在交換機中構成交換網路的一個子集的交換裝置。
套用學科通信科技(一級學科),交換選路(二級學科)

基本介紹

  • 中文名:交換級
  • 外文名:switching stage
  • 定義:一個子集的交換裝置。
  • 套用學科:通信科技,交換選路。
定義,交換級及相關技術,OpenFlow技術,交換級設計,交換級的結構,

定義

交換級SSD通過對Hadoop相關數據的快取來減少網路中數據交換量和重複的任務操作,有效的提高整個集群 的運行效率,起到對數據並行最佳化的作用。當然對於整個體系,無論是OpenFlow對整個網路的控制,還是Hadoop數據快取使得反應速度的提升與網路數據交換量的減少,每一項技術都實現都與國內外的相關研究密不可分的。
交換級

交換級及相關技術

交換級使用SSD擴展OpenFlow交換機存儲空間,通過SSD讀寫數據塊容量大的特點滿足交換級的快取或者存儲要求,利用OpenFlow技術的智慧型型技術來對網路中的數據進行要選擇性的存儲或者快取,達到縮減傳輸距離和減少計算量作用。與傳統交換機擴展SSD作為快取空間不同,交換級能夠智慧型的選取網路中所需數據,而傳統交換機只能無差別的快取所有數據報,如果針對需要快取的數據進行修改將使得傳統的交換機更加不堪重負。
交換級SSD的核心是OpenFlow技術,通過OpenFlow技術可以有效的選取網路中的特定數據進行快取同時可以控制交換機使快取數據在交換設備處進行轉發,省去到各個服務的請求和計算操作。

OpenFlow技術

面對數據量的迅速增長,各種大型的集群和數據中心的建立,網路的規模也急劇膨脹,同時網路的結構和功能日趨複雜,管控能力日趨減弱,尤其對於Hadoop這類對於大數據進行處理的技術,需要在分散式集群中進行大量的數據交換和存儲。

交換級設計

交換級SSD主要通過在交換節點快取方式對於Hadoop集群中數據並行操作進行最佳化。交換級SSD快取分別針
對MapReduce和HDFS進行最佳化,主要體現在幾個方面:
(1)MapReduce依賴於HDFS必須存儲才能計算,而Reduce階段需要接收Map階段產生大量的中間數據,將使得網路數據交換量急劇增加造成網路阻塞。
(2)HDFS針對小檔案和實時性要求較高的請求上不具備優勢,通過HDFS工作流程可知,每一讀寫操作,客戶端必然會與Namenode互動,對於小檔案來說互動的通信時間已經足以從Datanode將數據返回到客戶端了,也正是因為要與Namenode間通信,造成了一定的延時,犧牲讀取檔案的實時性。
(3)交換級快取還有一點就是減輕了主節點的負擔。Hadoop集群中MapReduce數據並行處理依賴於主節點的對各個從節點的任務分配與調度,同時HDFS的檔案讀寫也需要主節點中元數據的支持,所以Hadoop的工作離不開與主節點的通信。

交換級的結構

交換級對Hadoop集群並行數據最佳化,主要通過交換級SSD在交換節點處對Hadoop集群中相關數據進行快取,通過減少MapReduce重複計算,減少集群間數據交換,解決小檔案訪問延時問題來提高數據並行效率。交換級在Hadoop集群中起到交換設備和分散式快取設備的作用。
為了協調與管理交換設備上的數據交換與數據快取,引入OpenFlow技術。OpenFlow交換機相比傳統交換機有幾個優勢:
(1)在控制器的幫助下,OpenFlow交換機被傳統的交換機更加容易的從網路數據報中提取出所需的數據信息。
(2)控制器可以在OpenFlow交換機運行的時候下達最新的命名,指示交換機進行最新的操作。
(3)OpenFlow的可以Hadoop集群訊息制定流表,更加有效的協調數據交換和數據快取。
交換級

相關詞條

熱門詞條

聯絡我們