大規模並行處理機（Massively Parallel Processor）是由多個由微處理器，局部存儲器及網路接口電路構成的節點組成的並行計算體系；節點間以定製的高速網路互聯。大規模並行處理機是一種異步的多指令流多數據流，因為它的程式有多個進程，它們分布在各個微處理器上，每個進程有自己獨立的地址空間，進程之間以訊息傳遞進行相互通信。
基本介紹
- 中文名：大規模並行處理機
- 外文名：Massively Parallel Processor
- 學科：計算機系統
- 組成：多個微處理器、局部存儲器
- 特點：多指令流多數據流
- 領域：並行計算
簡介,程式設計方法,多指令流多數據流與分散式存儲器模型,
簡介
大規模並行處理技術已成為超級計算機套用中的一項前沿研究。大規模並行處理機系統是具有兒百或幾千台處理機，通過某種拓撲結構(互連網路)互相連線而成的，每個結點機通過互連網路與其它結點機相連並相互通訊。它具有計算能力強、規模龐大、結構複雜等特點，主要用於大型科學工程計算和大規模數據處理。MPP系統一般採用分布存儲結構。用訊息傳遞方式來協調各並行處理結點之間的工作。
程式設計方法
數據並行法
數據並行實際上就是採用數據分布的方法來實現並行處理。其具體方法是將一個串列程式的數據分成若干份，載入到各個處理結點分別處理。這種方法的優點是：可以充分利用現有的軟體，採用熟悉的串列程式設計方一法編寫和調試程式。使用這種方法要注意以下幾個問題。首先，要儘可能地充分利用資源，以提高並行度。在進行數據塊劃分時，要儘量給每一個處理結點分配一塊處理數據。其次，對於MPP系統來講，處理結點數量很大，要儘量減少結點間的通信。最後，要使MPP系統中各處理結點的任務均衡，即負載均衡問題。
功能並行法
這種方法是因每個處理結點執行不同的程式，實現不同的功能在而得名。這種並行程式的設計就是把整個功能用若干個程式來實現，而把每個程式落實到不同的處理結點去執行。我們可以根據功能按傳統方法設計成串列程式，然後再把它劃分成若干個子程式。當然，如果有現成的串列程式，並行程式設計就只是程式分解問題。程式分解應當根據數據流圖劃分，以使聯繫密切的問題劃分在一個子程式來解決，而子程式與子程式之間的聯繫越少越好，這樣，可以大大減少處理結點之間的通信，減少通信時延。可以看出，這種並行程式的設計關鍵在子程式的劃分。若考慮減少通信時延，就照顧不了負載的均衡;若考慮負載均衡，就得以增加處理結點間的通信時延為代價。在這種並行程式中，處理結點之間的聯繫可採取兩種辦法。一種辦法是採用數據驅動的方式，當某處理結點所需要的數據全部接收到以後，該處理結點即可啟動，執行其子程式。另一種辦法是採取客戶杉網及務器模式。即把若干個處理結點看作一個個的伺服器，分別執行不同的子功能，而把某控制結點看作是客戶機，由它來按照整個問題的求解需求，有次序的去請求不同的伺服器為其服務，以實現整個問題的解決。
多指令流多數據流與分散式存儲器模型
MIMD是用於實現並行性的技術。MIMD計算機具有多個異步和獨立工作的處理器。在任何時鐘周期內，不同的處理器可以在不同的數據片段上執行不同的指令，也即是同時執行多個指令流，而這些指令流分別對不同數據流進行操作。MIMD架構可以用於諸如計算機輔助設計、計算機輔助製造、仿真、建模、通信交換機的多個套用領域。 MIMD機器可以是共享存儲器或分散式存儲器類別。共享存儲器機器包括UMA、NUMA、COMA等。分散式存儲器機器包括NORAM等。MIMD是使用多個控制器來異步地控制多個處理器，能實現作業、任務、指令、數組各級全面並行的多機系統。多處理機屬於MIMD。當前的高性能伺服器與超級計算機大多具有多個處理機，能進行多任務處理，稱多處理機系統。
並行計算機系統絕大部分為MIMD系統，包括並行向量處理機（PVP，Parallel Vector Processor），對稱對多處理機（SMP，Symmetrical Multi Processor），規模並行處理機（MPP,Massively Parallel Processor），工作站機群（COW，Cluster Of Workstations）,分散式共享存儲系統（DSM,Distributed shared Memory）。
分散式存儲器模型
在分散式存儲器中，每個處理器具有其自己的單獨存儲器地址。對於要共享的數據，它必須作為訊息從一個處理器傳遞到另一個處理器。例如NORMA就屬於分散式存儲器。
在一個分布存儲的多處理機系統中，如果所有的存儲 器都是私有的，僅能由本地處理器訪問，就稱為非遠程儲訪問(NO-Remote Memory Access,NORMA)。
NORMA模型的特點：
① 每個結點都是由處理器( P)、本地存儲 器( M)和(或) I/O 設備組成的自治計算機。多個結點由基於訊息傳遞的互連網路互連。
② 所有的存儲器都是私有的。
③ 絕大多數 NORMA 都不支持遠程存儲器的
