第五代Tensor Core

第五代Tensor Core是英偉達（NVIDIA）的Blackwell Tensor Core。與上一代Hopper架構相比，其Blackwell架構可為GPT-MoE-1.8T等大型模型提供30倍的推理加速。

該核心增加了新的精度格式，包括社區定義的微縮放格式，並支持FP4、FP6、FP8等多種精度。第二代Transformer引擎採用了定製的Blackwell Tensor Core技術，結合TensorRT-LLM和NeMo框架，以加速大型語言模型和專家混合模型的推理與訓練。該引擎由Tensor Core的FP4精度驅動，可使性能與效率翻倍。

基本介紹

• 中文名：第五代Tensor Core
• 產品類型：GPU核心架構
• 所屬品牌：英偉達

架構背景

第五代Tensor Core是英偉達Blackwell架構的Tensor Core技術。與上一代NVIDIA Hopper架構相比，Blackwell架構針對GPT-MoE-1.8T等大規模模型提供了30倍的性能加速。

技術特性

第五代Tensor Core是NVIDIA Blackwell架構的核心組件。與上一代NVIDIA Hopper架構相比，Blackwell架構針對GPT-MoE-1.8T等大型模型的推理性能可提供高達30倍的加速。

第五代Tensor Core增加了新的計算精度格式，包括社區定義的微縮放格式。其支持的精度範圍廣泛，包括FP4、FP6、FP8、INT8、FP16、BF16、TF32、FP64。

第二代Transformer Engine集成了定製的BlackwellTensor Core技術。該引擎與NVIDIA TensorRT-LLM和NeMo框架協同，專門用於加速大型語言模型和專家混合模型的推理與訓練。Transformer Engine由Tensor Core的FP4精度驅動，能在保持高模型精度的同時，實現性能和效率的翻倍提升。

Transformer引擎

第二代Transformer Engine採用了定製化的Blackwell Tensor Core技術，結合了NVIDIA TensorRT-LLM和NeMo框架的創新，用於加速大型語言模型（LLM）和混合專家模型（MoE）的推理和訓練。該引擎由Tensor Core的FP4精度驅動，可實現性能與效率翻倍，同時保持對當前和下一代MoE模型的高精度。

套用產品

NVIDIA RTX PRO 4000 Blackwell SFF Edition專業顯示卡搭載了第五代Tensor Core。

技術意義

第五代Tensor Core能夠處理多樣化的人工智慧與高性能計算（HPC）工作負載。在萬億參數生成式AI模型的訓練上，其速度相比前代技術有所提升，並為GPT-MoE-1.8T等大型模型提供推理加速。通過支持新精度格式和第二代Transformer引擎，該技術可用於大語言模型（LLM）和專家混合模型（MoE）的訓練與推理。