泰坦（英語：Titan）是一台由克雷公司承建的超級電腦，置放於美國能源部下屬的橡樹嶺國家實驗室中，供各項科學研究項目使用。泰坦是由原來也置放於橡樹嶺國家實驗室的美洲虎（英文：Jaguar）經過多次升級改裝而成。泰坦也是世界上第一台以通用圖形處理器（GPGPU）為主要數據處理單元的超級電腦，2012年11月至2013年6月是世界上最快的超級電腦。美洲虎在2011年10月被宣布開始進行大幅升級，2012年10月，升級作業基本完工後這台超級電腦被更名為泰坦，並開始進行穩定性和性能測試，2013年中期方可供科學研究者們使用。升級的預算開始時是6千萬美元，其中絕大部分由美國能源部提供。而後來根據克雷公司的公開信息，整台泰坦超級電腦的費用最終是9千7百萬美元，為填補資金空缺，美國國家海洋和大氣管理局也出了一小部分資金參與建造，以從主要出資方美國能源部的手上獲得一定的使用權。
泰坦使用由超微半導體提供的皓龍（Opteron）處理器連結英偉達提供的Tesla運算用圖形處理器以進行協同運算，來在提供比美洲虎更高的運算性能之同時保持能源利用效率。整台泰坦總計18,688顆中央處理器和相同數量的圖形處理器，理論峰值性能是27petaFLOPS（每秒27×10^15次浮點運算），然而，在2012年11月的LINPACK基準性能測試中卻僅取得17.59petaFLOPS的成績（每秒17.59×10^15次浮點運算），儘管如此，但無論從性能上抑或是能效比上來說，仍然要比同時期的其它超級電腦更勝一籌。
基本介紹
基本介紹,獲得榮譽,背景,歷史介紹,硬體配置,軟體支持,研究計畫,使用計畫安排,科學研究專案,
基本介紹
“泰坦”占地面積與標準籃球場相當，消耗的電力足以供應一個小型城鎮。它擁有56萬多個處理器，理論運算速度峰值可達每秒27千萬億次，今後將用於氣候變化、可再生能源以及核能研究的計算機模擬。
泰坦可用於任何目的的數據處理。然而，數據處理任務的優先權，需要基於三個方面的考量：任務計畫的重要度、任務計畫對異構運算的利用潛力以及任務計畫的運算程式源碼與其它超級電腦的兼容性。經過篩選調度後，選中六個運算計畫，這六個“前鋒”計畫在泰坦開放使用後由泰坦依調度運行處理，這些處理任務多為關於納米科技或氣候模型。不過其它沒被選為首先處理的任務計畫，仍會進行優先權調度，進入等候貯列，以待泰坦的運行處理。由於以圖形處理器來處理數據，基於圖形處理器擁有比中央處理器多得多的執行緒的理由，不少程式需要進行源碼變動處理以適應新的混合架構，這些處理常常需要有更高級的運算平行度，而這些變更甚至也可以在以中央處理器為主的超級電腦上獲得性能的提升。
獲得榮譽
2012年11月，美國能源部12日發表聲明宣布，在國際TOP500組織當天公布的全球超級計算機500強排行榜上，該部下屬橡樹嶺國家實驗室的“泰坦”以每秒17.59千萬億次的實測運算速度登上榜首。
2016年11月，新一期全球超級計算機500強（TOP500）榜單14日在美國鹽湖城公布，中國“神威·太湖之光”以較大的運算速度優勢輕鬆蟬聯冠軍。天河二號超級計算機第二，泰坦名列第三。
美國超級計算機
2017年6月19日，全球超級計算機500強榜單公布，泰坦以每秒1.76億億次的浮點運算速度，排名第四｡
背景
美國能源部長朱棣文當天在聲明中表示，高性能計算機領先的國家，在國防、科學、醫學、能源等一系列領域都將擁有巨大的優勢。“泰坦”將與能源部的其他高性能計算機一道，成為能夠確保美國創新優勢的工具。
在當天公布的排行榜上，美國勞倫斯-利弗莫爾國家實驗室的“紅杉”、日本理化研究所的“京”、阿爾貢國家實驗室的“米拉”、德國於利希研究中心的JUQUEEN分列第二至第五位。
中國“天河-1A”曾在2010年名列榜首，此次已降至第十的位置。不過，中國共有72個超級計算機系統列入500強榜單，按國家來看，美國擁有全球500強超級計算機的一半，顯示出明顯的優勢，而中國位列第二。
超級計算機是國家科研的一個基礎工具，在地質、氣象、石油勘探等領域的研究中發揮關鍵作用，也是汽車、航空、化工、製藥等行業的重要科研工具。TOP500是全世界最權威的超級計算機排行榜。從1993年起，作為對全球已安裝的超級計算機排名的權威機構，國際TOP500組織以計算機實測速度為基準，每年兩次發布世界上最快的500台超級計算機排名。
歷史介紹
原美洲虎升級計畫
為了在保持性能功耗比的情況下提升數據處理性能，原來的美洲虎超級電腦在2005年落成後不久時已經制定了多種升級方案，當時美洲虎仍使用Cray XT3主機平台，峰值運算性能為25teraFLOPS。2008年美洲虎的Cray XT3主機平台升級Cray XT4主機平台，峰值性能也提升至263teraFLOPS；2009年繼續升級至Cray XT5主機平台，峰值性能為1.4petaFLOPS。在升級為泰坦前，未來的升級計畫原定的峰值性能為1.76petaFLOPS。
泰坦建造計畫
2005年當美洲虎落成時，橡樹嶺國家實驗室已計畫打造一台達到20petaFLOPS性能級別的超級電腦，而以傳統的中央處理器架構來實現在當時來說有不低的難度和成本，因此選擇以中央處理器+圖形處理器的混合架構方案，儘管這個方案直到2010年才得以實現，2011年以後計畫將升級後的美洲虎更名為泰坦。2010年11月16日在ACM/IEEE超級運算研討會非正式私人會議上公布了美洲虎的大升級計畫（亦即泰坦的建造），在會議的前一年（2009年）還和NVIDIA簽署通用圖形處理器的供應協定。2011年10月11日對外宣布開始第一階段的升級。最初的計畫是將新建一個占地15,000平方米（160,000平方英尺）的新機房，來置放升級後的美洲虎，但最後限於預算而取消，改為沿用美洲虎現有的基礎設施。 2011年10月9日，美洲虎的主機開始了為期一年的汰換升級，完全升級後的超級電腦會重命名為“泰坦”。
第一階段
2011年10月至12月期間，美洲虎200個機櫃中的96個機櫃中裝備的Cray XT5平台主機（刀片伺服器，配置為每節點兩顆6核心的AMD Opteron處理器）升級為Cray XK6平台主機（刀片伺服器，配置為每節點一顆16核心的Opteron 6274處理器），其它剩餘的機櫃仍照常運作。同年12月，所有運算任務轉移至96個已更換Cray XK6主機平台的機櫃中，剩餘的104個機櫃中的主機均升級Cray XK6。 系統內部連線（允許各節點的處理單元相互溝通的網路）也被升級，橡樹嶺國家實驗室的ESnet網路連線的頻寬也升級為100Gb/s，以便更快地從其它實驗室、大學和研究機構進行數據交換。系統存儲器容量也隨著Cray XK6主機平台的升級而翻倍擴增至600TB，其中有960台Cray XK6主機（占用10個機櫃）還裝有以NVIDIA Fermi架構顯示核心（即用於NVIDIA GeForce 400/500系列顯示卡的圖形處理器）為基礎的NVIDIA Tesla運算加速卡。這960個節點作為泰坦日後硬體配置的參考，並用來為日後泰坦的完全升級測試程式源碼。美洲虎至泰坦的第一階段的升級使得這台超級電腦的峰值性能從2.3petaFLOPS提升至3.3petaFLOPS，這個階段下這台超級電腦仍稱為美洲虎。
第二階段
2012年中期，英偉達推出NVIDIA Kepler架構的圖形處理器，也在不久推出基於這個架構的NVIDIA Tesla運算處理器。2012年9月13日開始，按照實驗室和克雷、英偉達簽訂的契約，英偉達提供超過一萬八千塊NVIDIA TeslaK20X運算加速卡（基於克卜勒架構的GK110頂級顯示核心，用作通用圖形處理器）裝進美洲虎超級電腦的Cray XK6平台主機中，每節點一塊，更換圖形處理器後Cray XK6平台更名為Cray XK7平台。中央處理器維持不變，仍為16核心的Opteron 6274處理器。同年10月底基本完工並且將這台超級電腦更名為泰坦。
測試驗收
“泰坦”在2013年初接受驗收測試，但只完成了92%的測試項目，低於原來通過95%的測試項目的要求。後來檢查發現，導致測試出現問題的是主機板的PCI-E插槽內的金手指連線器虛焊或焊接部位出現裂縫。對於這個問題，克雷公司按照契約要求承擔修復所需費用，並且以每星期12到16個機櫃的速度修復這個缺陷。修復過程中其它能正常運作的機櫃照常運算以供研究者們繼續進行他們的運算任務，而且到2013年3月11日，共8,972顆通用圖形處理器通過測試後，正式投入運作2013年4月8日，橡樹嶺國家實驗室宣布修復工作已完成，預計2013年5月完成最後的驗收測試項目。6月12日，橡樹嶺實驗室宣布泰坦已經完成了測試。
資金和建造
泰坦的升級建造仍由美洲虎的承建商克雷公司來負責進行，其主要資金來源是美國能源部下屬的橡樹嶺國家實驗室。當時實驗室的資金用來升級中央處理器的話是十分充足的，但剩下的資金就不足夠用來購置18,688塊通用圖形處理器（運算加速卡），因此美國國家海洋和大氣管理局也同意出資填補資金缺口，但需要以一定的使用權和使用時限作為回報。橡樹嶺實驗室的科學計算負責人傑夫·尼科爾斯（Jeff Nichols）表示“泰坦花了實驗室大約6千萬美元，後來國家海洋和大氣管理局的出資不足1千萬美元，但是具體數字則因為保密協定就不便公開了。”與克雷公司的全部契約總計約9千7百萬美元，不包括泰坦落成以後的可能的升級。
商業化
在美洲虎超級電腦升級完成後，克雷將用於泰坦超級電腦的Cray XK7主機平台作商業化推廣，還表示日後仍會有很大的硬體升級空間與性能提升空間。
2013年3月份，英偉達發布了消費級市場最強單晶片顯示卡——GeForce GTX Titan，使用和泰坦超級電腦上使用的Tesla K20X運算卡相同的“GK110”顯示核心。這種關係也是這款顯示卡的最大賣點所在，主要針對民間對遊戲圖形和科學運算都有需要的發燒級玩家。
硬體配置
機架、電源供應
泰坦超級電腦使用和美洲虎超級電腦相同的200個機櫃的設計，占地404平方米，基本上只是更換了機櫃和布線。沿用改進自美洲虎超級電腦的電力供應系統和冷卻系統，節省了能源部/實驗室約兩千萬美元的經費。泰坦的總耗電功率最大8.2兆瓦，比美洲虎高出了1.2兆瓦，但是泰坦提供比美洲虎快了幾乎10倍的運算性能，特別是浮點運算方面。電力供應系統的交流電輸入電壓高達480伏，供每個機櫃使用，由於使用更高的電壓，因此可以使用比美國標準的208伏（線電壓）電纜更細的輸入電纜，由更小直徑的電纜銅芯上節省出來的資金就有一百萬美元。為應付電力供應突然中斷的事件，碳纖維飛輪能量存儲器可以維持網路系統和存儲系統16秒的電力供應，如果兩秒內電力供應沒有恢復，柴油發電機就會在大約7秒的時間內啟動，並一直驅動飛輪，但是飛輪和發電機被設計成只為網路系統和存儲系統維持電力供應，以便能快速重新打開整台機器，發電機也不會為運算處理單元基礎設施提供後備電力供應，因此外接電力供應中斷時（即使發電機已啟動）是不會進行運算處理作業的，這個特性和筆記本電腦的“睡眠”功能類似。
冷卻系統
泰坦的機櫃使用主動式風冷散熱器，但是外界空氣進入機櫃前則要事先經過冷卻處理，所用的空氣冷卻器，可製冷質量為6,600噸（相當於23.2兆瓦的熱功率），以5.5攝氏度（約42華氏度）的低溫冷卻水作為空氣冷卻器的散熱介質，從機櫃中帶走熱量的熱空氣會流到至空氣冷卻器冷卻，再回流進入機櫃，如此往復循環。另外，“泰坦”的散熱系統設計時並沒有考慮噪音問題，因此這台超級電腦運作時的噪音非常巨大，以至於機房需要更好的隔音措施，進入機房並且逗留超過15分鐘的人員必須採取像是佩戴隔音耳塞或耳機等的聽力保護措施。
運算主機
參見：AMD Bulldozer及NVIDIA Tesla
完整的泰坦超級電腦上有18,688個運算節點，每部刀片伺服器擁有四個運算節點，24部刀鋒主機為一個機櫃。
- 每個運算節點包含：
- 一顆AMD Opteron 6274中央處理器，基於AMD Bulldozer微架構，擁有8個Bulldozer模組共16個核心，核心時鐘頻率為2.2GHz
每兩個節點共用一個克雷公司研發的Gemini高速互連路由器
整台超級電腦共299,008個處理器核心和超過710TB的存儲器容量（包括顯示存儲器，全部存儲器打開ECC功能後共693.6TB可用）；
存儲器使用硬碟陣列存儲，原來容量是10PB（由13,400塊，每塊7,200轉每分1TB容量的硬碟組成），其有效傳送速率為240GB/s。在2013年4月，進行了一次存儲器的升級，升級後的存儲器容量增至40PB，其有效傳送速率達到1.4TB/s。
你根本不能從傳統的基於CPU的架構上獲得這個級別的性能、能源效率和成本效率。加速運算是未來十年使exascale性能級別得以達成的最好而且最現實的方式。
為了更大幅度地提升平行運算性能，建造方選擇用通用圖形處理器實現，因為圖形處理器平行運算效率相比傳統的中央處理器的有更為巨大的優勢所在。儘管圖形處理器/通用圖形處理器的時鐘頻率要比中央處理器低不少，但每顆NVIDIA GK110顯示核心擁有2,688個時鐘頻率為732MHz的流處理器（CUDA核心），全部流處理器聯合進行運算處理，從而使得整個系統性能更高。因此，在泰坦超級電腦上，中央處理器核心主要用以分配運算任務給通用圖形處理器，數據處理主要由通用圖形處理器來實現。而此前的超級電腦，則是由中央處理器直接處理數據，即使有通用圖形處理器的加入也就是輔助運算的角色。
主機管理
在運算主機以外，為方便管理並監視泰坦的運作狀況，還另外設定了登錄管理節點。每個登錄節點的配置為一顆八核心的AMD Opteron 6140中央處理器和256GB的存儲器。在授權用戶通過網路連線至登錄管理節點並登錄後，默認是在登錄管理節點上進行任務調度、監視運算節點運作狀況等作業。
顯示設施
為了讓科研人員能夠更好地明白泰坦的數據處理結果，泰坦也設有顯示輸出，通過連結名為“EVEREST”的顯示設備來實現。EVEREST，全名“Exploratory Visualisation Environment for Research and Technology”，意即“技術和研究的探索可視化環境”，是一個裝有一塊10米×3米（30英尺×10英尺）的主熒幕和一塊尺寸要小上一些的副熒幕的房間，熒幕的解析度均為3千7百萬像素×3千3百萬像素，還附帶3D顯示能力（需要配合3D眼鏡使用）。
性能、能效比表現
泰坦的理論峰值性能為每秒27×10次浮點運算（27petaFLOPS），或者是每秒2.7千萬億次運算作業。2012年11月12日，泰坦通過LINPACK基準性能測試，最終成績為每秒17.59×10次浮點運算，TOP500最後宣布了新的第一名由泰坦超級電腦奪得，取代前任第一IBM紅杉。
泰坦超級電腦也是Green500中排名第三的超級電腦（截至2012年11月），每消耗一瓦特的電功率獲得2142.77megaFLOPS（21.4277億次浮點運算每秒）的運算性能。Green500也是全球500強超級電腦的排名，但不同於TOP500的是Green500是根據性能功耗比來進行排名。
軟體支持
作業系統、檔案系統
泰坦超級電腦使用克雷公司基於Linux核心開發的Cray Linux Environment分散式作業系統。Cary Linux Environment作業系統由以下兩部分組成：登錄管理節點為全功能Linux核心的作業系統，運算節點則是為提升性能和效率而特別最佳化精簡的基於輕量級Linux核心CNL（Compute Node Linux）的作業系統。檔案系統使用Lustre分散式檔案系統，代號“Spider”。
程式編寫與編譯器
參見：NVIDIA CUDA
不同於以往以中央處理器作主要數據處理單元或以圖形處理器輔助處理數據的超級電腦，泰坦超級電腦以圖形處理器為主要的數據處理單元。在初期，不少專案的程式源碼一般重新編寫或編譯以方便泰坦的通用圖形處理器運行，而且還要求這些源碼能兼容於以中央處理器為主的系統，以便專案可以不僅可以由泰坦進行處理，還能供其它仍使用傳統中央處理器架構的超級電腦運行。Oak Ridge Leadership Computing Facility（OLCF）還成立了Center for Accelerated Application Readiness（加速申請中心，CAAR）來幫助科學研究者們重寫或重新編譯他們所寫的代碼以供泰坦運作之，並且在英偉達總部舉辦開發者研習會，讓研究人員和程式設計師學習並使用泰坦和其它類似的超級電腦的架構、編譯器和應用程式。
即所謂的多核多執行緒最佳化，只是更深入、更適合通用圖形處理器的架構特性（通用圖形處理器擁有比中央處理器多得多的執行緒和更好的運算並發性）。不過這樣的程式源碼最佳化也適用於傳統以中央處理器為基礎的機器上，這些機器也可以從中獲得性能提升。天體物理學家兼程式設計師Bronson Messer，表示“一個應用程式要將泰坦的性能發揮至極限，必須尋求方法來使通用圖形處理器滿負載運作，需要明確的是通用圖形處理器儘管處理速度很快，但靈活度顯然不如中央處理器。”作業管理者也發現，一些計畫專案的代碼在重寫後，在那些不是基於圖形處理器的機器上的效率也變得大有提升，“Denovo”專案的程式在基於中央處理器的機器上甚至還比原先獲得雙倍的性能提升表現。
要求調用圖形處理器的進行運算作業的代碼變更量因不同專案而變。根據負責NRDF專案的梅瑟博士（Dr. Messer）的意見，他們的代碼中調用圖形處理器的算法源碼只占整個代碼中很小的百分比，因為這些程式算法的運算都相對簡單，但處理進程重複而且具有平行性。NRDF的程式用CUDA Fortran寫成，CUDA Fortran是Fortran語言連結CUDA指令擴充庫（NVIDIA CUDA庫）給予圖形處理器使用的Fortran改進版本。
研究計畫
由於泰坦超級電腦的研發依靠美國能源部和美國國家海洋和大氣管理局的資金資助，因此來自美國聯邦政府部門的科學研究不少，有能源（包括可再生能源、核能）、氣候變化、高效率引擎、新型燃料、新型材料等一系列科學研究專案。
在泰坦正式激活的當天，時任美國能源部長朱棣文發表聲明，表示“高性能計算領先之國家，在國防、科學、醫學、能源等一系列領域均將擁有比其它不具備超級電腦的國家更為巨大的優勢，泰坦將和能源部下屬的其它超級電腦一起，成為確保美利堅合眾國之創新優勢的有力工具。”
使用計畫安排
儘管泰坦可以用於幾乎任何類型的科學研究專案，但使用請求往往超出了許可時間，因此制定出專案優先權選擇標準，其標準是：根據專案計畫的重要度來決定運行時間的選擇，這裡面若有能力充分發揮混合架構運算能力，並且還能夠在其它超級電腦上運作的，則優先考慮（即不可只讓泰坦單獨處理）。2009年，OLCF收到了50個首先使用它們的超級電腦的專案，經篩選後剩下六個成功進入候選，這六個專案中不僅是重要的科學研究專案，還賦予它們完全使用並發揮混合運算的運算能力。這六個首先使用泰坦的專案中，大部分是關於新型納米材料、氣候變化模型的研究。不過，其它未入選的專案，仍然會進入泰坦的任務調度佇列，等待泰坦的運行處理。
科學研究專案
在泰坦上首先處理的六個專案分別是“S3D”、“WL-LSMS”、“Denovo”、“LAMMPS”、“CAM-SE”和“NRDF”：
- “Denovo”專案，模擬核反應爐的運作情況，旨在提升核反應爐的能量轉換效率、降低能量損失。Denovo專案的運算程式在為泰坦進行源碼最佳化後，在傳統的以中央處理器為主的超級電腦上獲得比最佳化前快兩倍的性能，在泰坦上獲得比美洲虎快3.5倍的性能表現；
- “CAM-SE”是兩個專案合併組成，分別是“Community Atmosphere Model”（群落大氣模型）和“High Order Method Modeling Environment”（高級方法建模環境），前者是一個全球大氣模型，後者則是求解流體和熱力學方程。這兩個專案共同協作可以以更高的精確度模擬氣候變化；
負責“NRDF”專案的梅瑟博士的研究需要數以百計的偏微分方程來追蹤能量、角度、散射角以及在一顆恆星進入超新星階段時每種不同類型的中微子模擬，得出數百萬個單獨的方程。另外，一個名為“Chimera”（奇美拉/凱米拉）的代碼，以神話中的生物奇美拉來命名之，乃它有三個“頭”：一個是仿真恆星物質（主要是其化學組成）的流體力學；第二個是模擬輻射轉移；第三個是模擬核燃燒（即熱核反應/核融合）。第三個“頭”首先由圖形處理器群運行處理，由於熱核反應的過程模擬最容易由圖形處理器的架構來處理，但如果圖形處理器提供良好的加速，梅瑟博士預計，與經驗觀察相比，將有多達200種核素可以在更高的精度上被模擬出來。
“VERA”專案是一個輕水反應爐的仿真，在美洲虎超級電腦上的CASL（Consortium for Advanced Simulation of Light Water Reactors，聯合輕水反應爐高級仿真）編寫並運作。VERA允許工程師監視反應爐使用壽命里反應爐核心任何部分的性能表現和狀態，以辨別找出有研究價值或改進反應爐設計等他們感興趣的研究點。儘管不是六個先鋒計畫中的一員，但VERA將會在CAAR的協助下進行充分最佳化並由泰坦的管理團隊進行測試後在泰坦上繼續運作。計算機科學家湯姆·埃文斯（Tom Evans）發現，相比於以往在傳統中央處理器為主的超級電腦之間進行程式碼適應性修改以及最佳化作業，為泰坦的混合架構修改及最佳化VERA的代碼難度十分大。儘管如此，他們的目標是要將仿真整個反應爐燃料循環的時間，從以往需要18～36個月，在泰坦上縮短至只需一個星期。
