發展歷史,技術原理,硬體架構,軟體平台,套用領域,主要產品,行業事件,挑戰與趨勢,
發展歷史
GPU最初專用於圖形處理。1999年，NVIDIA發布了GeForce 256，被視為第一款GPU。
2016年，NVIDIA向OpenAI捐贈了第一台DGX-1 AI超級計算機。
2018年，NVIDIA發布GeForce RTX系列，引入RT Core和Tensor Core。
如今，GPU已成為高性能計算和人工智慧領域的重要組件。GPU加速計算成為AI和HPC的核心技術。GPU在提升遊戲性能與人工智慧計算等方面發揮作用。
技術原理
GPU具有獨特的架構，這種架構高度並行化，一個GPU由成百上千個小型、高效的核心組成，這些核心分組成多個流處理器。GPU包含數量眾多的小核心，這些小核心能夠同時處理多個相對簡單的計算任務，使其能夠高效處理圖形渲染和並行計算任務。
GPU和CPU在架構設計上存在區別：CPU用於通用計算，核心較少但功能豐富；GPU則擁有一個大規模並行架構，當中包含數千個更小、更高效的核心，專為同時處理多重任務而設計。GPU設計用於圖形處理和數據並行任務，核心數量多，處理圖像渲染、科學模擬、機器學習等。
在深度學習中，常見的計算密集型任務包括矩陣乘法、卷積運算、池化運算等，這些任務可以通過GPU的並行計算能力大幅加速。在訓練過程中，當利用GPU進行加速時，數據的處理方式發生了根本性的改變，GPU的眾多核心可以同時對圖像的不同區域進行卷積操作。使用GPU加速的伺服器可以縮短深度學習訓練所需的時間。對於高性能計算套用，GPU同樣通過其並行架構加速大規模模擬計算。
GPU加速依賴於專門的編程模型和軟體棧，例如一些專門的編程模型和軟體棧提供了GPU加速功能。現代深度學習框架提供了GPU加速的支持，可以自動將計算任務分配到GPU上進行計算，並提供了GPU並行庫，進一步最佳化計算過程。
硬體架構
現代GPU加速器引入了Tensor Core，這是一種專為深度學習矩陣運算最佳化的專用硬體單元。Tensor Core可大幅提升混合精度下的計算吞吐量，顯著加速AI訓練和推理任務。為滿足高性能計算和AI對高速數據交換的需求，現代高端GPU普遍採用高頻寬記憶體。HBM通過堆疊技術和更寬的接口提供遠超傳統GDDR的顯存頻寬，有效緩解了數據搬運瓶頸，從而支撐起更大規模的模型和數據集處理。
為了突破PCIe匯流排在頻寬上的限制，支持更高效的多GPU協同計算，NVIDIA開發了NVLink高速點對點互連技術。NVLink提供遠高於PCIe的頻寬和更低的延遲，實現GPU間的直接高速數據交換，這對於構建大規模多GPU系統至關重要。為提高數據中心GPU的資源利用率和多用戶隔離性，NVIDIA Ampere及後續架構的GPU支持多實例GPU技術。MIG允許將單個物理GPU安全地劃分為多個獨立的GPU實例，每個實例擁有獨立的計算核心、顯存和快取，從而允許多個用戶或工作負載同時安全地共享同一塊GPU，並保證服務質量。
軟體平台
NVIDIA CUDA平台是GPU編程的核心平台，允許程式設計師使用類C語言編寫並行計算代碼，並提供大量庫函式和工具。CUDA 11等版本持續更新，支持新的硬體架構如Ampere和功能如MIG，以加速HPC、AI等多種工作負載。
NVIDIA CUDA-X是建置於CUDA之上的微服務和函式館集合，為數據處理、AI和HPC領域提供GPU加速，包含超過400個函式館，旨在簡化應用程式的構建、最佳化和部署。
NVIDIA NGC™目錄是GPU最佳化的深度學習、機器學習和HPC軟體中心，提供經最佳化的容器、模型和SDK，支持跨雲端和本地部署的端到端工作流加速，用戶可一鍵獲取並部署。
TensorFlow、PyTorch等主流深度學習框架深度集成GPU加速，使用前需安裝支持GPU的版本並配置CUDA與cuDNN環境，框架提供設備管理、顯存最佳化和多GPU支持機制以提升訓練和推理效率。國產軟體棧如MXMACA也已實現對PyTorch、TensorFlow等框架的原生適配。
RAPIDS是一套開源軟體庫和API，支持完全在GPU上執行端到端數據科學和分析流程，基於CUDA構建，通過用戶友好的API提供並行機制和高頻寬記憶體速度，可大幅提升數據處理和機器學習任務效率。
主要雲服務提供商如AWS、Azure、Google Cloud均提供NVIDIAGPU加速的雲實例和託管服務。雲廠商和社區也提供了各類工具以簡化GPU資源的利用，例如阿里雲的FastGPU工具可簡化環境部署，其AIACC訓練加速套件可最佳化分散式訓練通信與計算圖。
國產GPU廠商也在構建自己的軟體生態，例如沐曦股份的MXMACA軟體棧支持超6000個主流生態開源套用，並與主流AI框架及大模型實現原生適配，旨在降低CUDA套用的遷移成本。天數智芯、壁仞科技等公司也推出了支持其硬體的軟體平台。
套用領域
NVIDIA GPU 及其解決方案可用於加速 AI 訓練過程。NVIDIA AI 推理平台支持多種 AI 工作負載，其推理解決方案在吞吐量、效率與靈活性方面有所提升。
在天氣預報、能源勘探、計算流體動力學和生命科學等領域，NVIDIA GPU 被用於加速大規模的高性能計算套用。
NVIDIA RTX™ 虛擬工作站可在雲服務提供商市場中提供用於運行實時渲染、產品設計、工程仿真和內容創建等工作負載的性能，並提供相應的管理與數據保護功能。
全球主要的雲服務提供商均提供基於 NVIDIA GPU 的解決方案。雲合作夥伴提供的混合雲和邊緣解決方案支持 NVIDIA 平台，可用於加速 AI、機器學習、高性能計算、圖形和虛擬化等工作負載。藉助 NGC 目錄中的軟體，可實現跨不同環境的部署。
GPU的並行計算特性可用於處理智慧型客服系統中的複雜模型。與CPU方案相比，GPU可降低對話生成的延遲，並通過多流並行技術處理更多並發請求。在單批次計算量較大的情況下，GPU架構相比CPU架構在計算性能上有提升。GPU架構能為許多套用場景提供運算支持，在金融風控等領域有套用。相關技術已套用於人工智慧、金融、醫療、教育、交通等多個行業。在金融領域，相關技術套用於OCR、人臉識別等場景；在醫療領域，為病歷生成、病情分析等場景提供支持；在城市交通領域，可用於時刻表的動態最佳化。
主要產品
NVIDIA Tesla系列是面向數據中心的高性能計算和人工智慧工作負載的GPU加速產品。Tesla P100採用Pascal架構和HBM2顯存，雙精度浮點運算能力達4.7 TFLOPS，可將高性能計算應用程式性能提升30倍以上。Tesla V100是首款搭載Tensor Core的GPU，採用Volta架構，提供高達125 TFLOPS的深度學習性能，推理吞吐量比CPU高24倍。Tesla A30基於Ampere架構，支持從FP64到INT4的多精度計算和多實例GPU分區技術，其AI訓練吞吐量比V100高3倍。
NVIDIA GeForce系列最初為圖形處理設計，後擴展至通用計算和AI加速領域。1999年發布的GeForce 256是全球首款被稱為GPU的產品，其集成的硬體T&L加速為GPU在科學計算等領域的套用奠定了基礎。GeForce RTX系列引入了專為實時光線追蹤設計的RT Core和專為AI計算設計的Tensor Core，支持NVIDIA DLSS等AI驅動功能，擴展了GPU在AI和圖形工作負載中的套用。
國產通用GPU產品在算力與技術方面取得進展。天數智芯發布了中國首款通用GPU產品天垓100，支持大模型訓練和通用計算，兼容主流深度學習框架。其第二代產品智鎧100支持多精度混合計算，性能較市場主流產品提升2-3倍，已套用於AI、金融、醫療等多個行業。壁仞科技發布的通用GPU晶片BR100採用Chiplet技術，其16位浮點算力達到1000T以上。沐曦股份的GPU產品已在部分場景實現對國際產品的替代，性能達國際同類型高端處理器水平，並成功將分子動力學模擬引擎GROMACS中的計算流程部署於GPU，實現性能提升。
AMD推出了Radeon Instinct MI系列GPU加速卡，為高性能計算和人工智慧工作負載提供替代方案，例如MI25可提供高達12.3 TFLOPS的單精度計算性能。
行業事件
2024年，在GTC（GPU Technology Conference）上，黃仁勛推出了最新的Blackwell B200 GPU。該B200 GPU有2080億個電晶體，其FP4算力為20 petaflops。
挑戰與趨勢
存儲頻寬已成為GPU性能的關鍵瓶頸之一，影響大規模計算效率。傳統的互聯技術如PCIe接口的頻寬已難以支撐日益增大的數據傳輸需求。業界探索的解決方案包括存算一體以及CXL這樣的智慧型存儲架構以提升數據訪問速度。
GPU硬體向更大規模、更高能效方向發展，例如採用Chiplet設計理念和液冷技術。英偉達推出的Blackwell B200 GPU擁有2080億個電晶體，可提供高達20 petaflops的FP4算力。存儲技術也在疊代，例如SK海力士計畫推出16層HBM3E晶片。
混合AI計算模式興起，結合雲端GPU算力與設備本地的CPU、NPU進行協同運算。
軟體生態持續最佳化，支持更廣泛的套用場景。英偉達推出了包括NVIDIA NIM在內的企業級生成式AI微服務，以及CUDA-X微服務。這些軟體最佳化旨在縮短部署時間，並提供標準化的開發路徑。
