NVFP4

NVFP4是NVIDIA為其Blackwell GPU架構引入的一種創新的4位浮點量化格式。其結構類似於大多數4位浮點格式（E2M1），包含1個符號位、2個指數位和1個尾數位，數值範圍約為-6到6。

該格式通過高精度比例編碼和二級微塊縮放策略，在顯著降低模型記憶體占用的同時保持較高精度。在AI推理中，與FP16相比，其記憶體占用減少約3.5倍，與FP8相比減少約1.8倍，並將關鍵任務精度損失控制在1%以內。在訓練中，採用NVFP4可使訓練速度提升1.59倍。該格式已獲得TensorRT Model Optimizer、TensorRT-LLM等工具鏈支持，並被集成於NVIDIA GeForce RTX 50系列GPU及後續Rubin平台中。

基本介紹

• 外文名：NVFP4
• 上市時間：2025年

技術原理

NVFP4是一種4位浮點格式，其結構為E2M1，即包含1個符號位、2個指數位和1個尾數位。該格式表示的數值範圍大約在-6到6之間。

NVFP4通過兩項核心架構創新來解決超低精度格式的挑戰：高精度比例編碼和二級微塊縮放策略。

該策略採用塊浮點表示，將張量劃分為每16個值構成的微塊，微塊內共享一個共同的縮放因子。具體而言，對每個微塊套用一個細粒度的E4M3 FP8縮放係數，NVFP4使用的E4M3 FP8格式變體支持非2的冪次方縮放因子和分數精度。同時對整個張量套用一個第二級的FP32縮放因子。通過將組大小從MXFP4的32個元素縮減至16個，NVFP4實現了更細粒度的縮放，能更好地匹配局部動態範圍，從而減少量化誤差。

與MXFP4相比，NVFP4在精度保持方面效果較好，平均能恢復原始模型95%以上的性能，且在不同規模的模型上穩定性較高。

量化後的存儲開銷方面，NVFP4平均每個值占用約4.5位。這使得模型記憶體占用相對於FP16減少約3.5倍，相對於FP8減少約1.8倍。在精度上，例如將DeepSeek-R1-0528模型從FP8量化至NVFP4，關鍵語言建模任務的精度損失可控制在1%以內。

第五代Tensor Core架構（Blackwell）原生支持NVFP4，可自動處理微縮放的FP4數據，包括元素分組、動態縮放和4位矩陣運算。

性能特點

NVFP4在精度表現方面，將模型從FP8量化至NVFP4時，關鍵語言建模任務的精度損失通常可控制在1%以內，部分基準測試中精度與FP8持平或略有超越。在多項基準測試中，NVFP4量化後的模型精度表現優異，部分場景下精度領先FP8。在記憶體效率方面，與FP16相比，NVFP4使模型記憶體占用減少約3.5倍，與FP8相比減少約1.8倍。

NVFP4帶來能效提升，在Blackwell Ultra架構上運行GPT-MoE 1.8T模型時，可為每個token實現50倍的能效提升。在Blackwell架構GPU上，NVFP4能實現顯著的能耗降低，從而大幅提升能效。

NVFP4能提升推理速度，在Blackwell GPU上，其推理性能相比FP8最高可提升1.5倍；在GeForce RTX 50系列GPU上，配合最佳化模型性能最高可提升2.5倍，同時顯存占用減少60%。在最佳化軟體和工具的支持下，NVFP4能在特定AI套用中帶來顯著的推理性能提升。

在訓練效率方面，採用NVFP4進行預訓練可使吞吐量提升約1.59倍，並允許微批量大小翻倍。

在成本效益方面，使用NVFP4格式進行AI推理可顯著降低每token成本，提升經濟效益。

套用與部署

NVFP4的推理生態系統正在迅速採用，以滿足不斷增長的AI需求。開發者可以使用工具將模型量化至NVFP4格式，量化後的模型可部署在原生支持該格式的推理框架上。Hugging Face平台已託管多個熱門模型的NVFP4預量化檢查點，方便開發者直接下載部署。部分創作與開發軟體已原生集成NVFP4支持。NVFP4已在多個實際項目中得到套用，以降低記憶體占用並提升性能。

量化與導出工具

NVIDIA提供了TensorRT Model Optimizer和LLM Compressor等工具，支持將模型量化至NVFP4格式。量化後的模型可導出為ONNX格式或統一Hugging Face檢查點。

推理框架支持

量化後的NVFP4模型可部署在原生支持該格式的推理框架上，例如NVIDIA TensorRT-LLM和vLLM。

預量化模型資源

Hugging Face平台已託管多個熱門模型的NVFP4預量化檢查點，方便開發者直接下載部署，例如DeepSeek-R1-0528、Llama 3、FLUX.1-dev等。

軟體生態集成

部分創作與開發軟體已原生集成NVFP4支持。例如，ComfyUI已原生支持NVFP4和FP8數據格式，並提供了最佳化模型目錄（如FLUX.2 Klein、LTX-2.3），方便創作者使用。

實際套用案例

NVFP4已在多個實際項目中得到套用，以降低記憶體占用並提升性能。例如，阿里巴巴的Qwen-Image等擴散模型已利用NVFP4減少記憶體占用。在AI視頻生成工作流中，NVFP4模型有助於簡化流程並提升效率。

硬體支持與生態

NVFP4隨NVIDIABlackwellGPU架構首次引入，其第五代Tensor Core原生支持NVFP4運算。GeForce RTX 50系列GPU已支持NVFP4。搭載NVIDIA GeForce RTX 30系列和40系列GPU的設備也獲得了對NVFP4格式的原生支持。未來的NVIDIA Rubin平台將通過全新的Transformer引擎和硬體加速的自適應壓縮技術，進一步提升NVFP4性能，支持高達50 PFLOPS的NVFP4推理算力。根據路線圖，Rubin平台的目標是在Blackwell基礎上實現性能與成本效率10倍的提升。

在邊緣計算領域，NVIDIA Jetson AGX Thor平台也支持NVFP4格式，有助於最佳化推理性能。

發展歷程

NVFP4由英偉達於2025年隨其Blackwell GPU架構首次推出，主要用於高效低精度AI推理。2025年8月，英偉達研究團隊宣布成功使用NVFP4從零開始預訓練了一個120億參數的混合Mamba-Transformer模型，驗證了該格式在大規模模型預訓練中的可行性和穩定性，該研究基於一個10萬億token的數據集，標誌著其套用從推理向訓練拓展。

2025年12月，英偉達宣布其開源大模型Nemotron 3 Super/Ultra將採用NVFP4格式進行訓練和推理。

2026年1月，在CES上，英偉達宣布多款AI模型將支持NVFP4格式，以降低記憶體占用並提升吞吐量。同期，英偉達為搭載RTX GPU的個人計算設備發布驅動更新，原生引入對NVFP4格式的支持，顯著提升了本地AI套用的效率與兼容性。2026年2月，英偉達通過NeMo Megatron Bridge驗證了NVFP4低精度訓練方案，使其可正式套用於模型預訓練階段；2026年2月13日，英偉達發布分析顯示，其Blackwell GPU平台與NVFP4等技術結合，可使AI推理的每token成本降低4到10倍。同期發布的下一代Rubin平台也宣布將通過硬體加速進一步提升NVFP4性能。2026年3月，在遊戲開發者大會上，英偉達宣布AI工作流工具ComfyUI已原生支持NVFP4及FP8格式，並推出了包括LTX-2.3、FLUX.2 Klein在內的更多最佳化模型，這些模型變體在使用NVFP4格式後，可實現最高2.5倍的性能提升並降低60%的顯存占用。