FlashAttention-4是專為英偉達Blackwell架構GPU設計的高效注意力算法庫，由Tri Dao團隊主導開發。該版本於2025年Hot Chips會議上首次公布，並於2026年3月正式發布。它通過算法與核心協同設計，採用條件式softmax重縮放、多項式近似指數計算等技術，並充分利用Blackwell的張量記憶體（TMEM）和異步計算等硬體特性，顯著提升了計算效率與記憶體頻寬利用率。在B200 GPU上，其性能最高可達1605 TFLOPs/s（理論峰值利用率71%），前向傳播速度比英偉達cuDNN 9.13快1.1–1.3倍。PyTorch的FlexAttention已支持將其作為後端。
研發背景,發展歷程,核心技術,核心團隊,重要事件,
研發背景
FlashAttention系列算法最早於2022年由Tri Dao等人提出，旨在實現快速且記憶體高效的確切注意力計算。隨著英偉達Blackwell GPU架構的發布，原有的FlashAttention在直接使用時面臨編譯錯誤、核心缺失或性能未最佳化等問題。為了解決這些問題並充分利用Blackwell的新硬體特性，Tri Dao團隊啟動了FlashAttention-4的開發。更深層次的驅動因素是，從Hopper到Blackwell GPU架構的演進中，硬體資源的非對稱擴展導致了注意力計算的性能瓶頸發生轉移，傳統的最佳化策略不再適用，因此需要全新的算法與核心協同設計。
FlashAttention-4於2025年8月在半導體行業會議Hot Chips 2025上首次公布，並於2026年3月正式發布。
發展歷程
2025年8月，在半導體行業會議 Hot Chips 2025 上，TogetherAI 首席科學家 Tri Dao 首次公布了 FlashAttention-4，該版本增加了對 Blackwell GPU 的原生支持。在此版本中，團隊實現了兩項關鍵的算法改進：使用一種新的線上 softmax 算法以跳過90%的輸出重縮放，以及使用指數（MUFU.EX2）的軟體模擬來提高吞吐量。此時，FlashAttention 的 GitHub 軟體庫已經積累了超過1.91萬星。
2026年3月6日，FlashAttention-4 正式發布。核心作者 Tri Dao 表示，新版本通過算法與核心的協同設計，在 Blackwell GPU 上實現了接近矩陣乘法的注意力執行速度。主要改進包括為前向和反向傳播設計的新型軟體流水線、利用多項式近似進行指數計算、條件式 softmax 重縮放、利用張量記憶體（TMEM）以及支持確定性執行模式等。在 B200（BF16）GPU 上，其前向傳播比 cuDNN 9.13 快 1.1–1.3 倍，比 Triton 實現快 2.1–2.7 倍。同時，PyTorch 官方已宣布其 FlexAttention 支持 FlashAttention-4 後端。
2026年4月1日，在2026中國IC領袖峰會“邊緣AI與算力晶片”垂直技術論壇上，國科微AI算法部部長倪亞宇發表了題為《FlashAttention-4:新一代大模型推理NPU流水線範式設計》的主題演講，介紹了FlashAttention-4在NPU平台上的落地探索。
核心技術
FlashAttention-4是一種算法與核心(kernel)協同設計的產物，其核心目標在於通過最大化矩陣乘法與其他瓶頸資源之間的重疊，以提升計算效率，這一設計旨在解決Blackwell架構硬體資源非對稱擴展導致Attention性能瓶頸轉移的問題。在Blackwell B200 (BF16)上，其性能最高可達1613 TFLOPs/s (71%的利用率)。
為前向傳播設計了新型流水線，利用Blackwell的全異步MMA和更大分塊(Tile)尺寸，最大化計算與記憶體操作的重疊。在FMA單元上通過多項式近似實現指數函式的軟體仿真，以提升指數計算吞吐量，同時通過混合硬體計算與軟體模擬保證計算精度。同時引入條件式softmax重縮放，可跳過高達90%的不必要重縮放操作，從而緩解SFU瓶頸。
為反向傳播設計了新的軟體流水線。利用張量記憶體(TMEM)存儲中間結果，以緩解共享記憶體流量壓力。結合Blackwell新增的2-CTA MMA模式，進一步降低共享記憶體訪問，顯著減少共享記憶體讀寫量，並將原子歸約(atomic reduction)次數減少一半。此外，該版本還支持確定性執行模式，以實現可復現的訓練。
引入新的分塊(tile)調度器，以解決因果掩碼和變長序列導致的負載不均衡問題。充分利用Blackwell GPU的新硬體特性，包括張量記憶體(TMEM)、完全異步的第五代張量核心以及更大的分塊尺寸等。
在Blackwell GPU上，FlashAttention-4的前向傳播比英偉達cuDNN 9.13快1.1–1.3倍，比Triton實現快2.1–2.7倍，在反向傳播的長序列場景下也表現優異。FlashAttention-4完全使用NVIDIA的CUTLASS CuTe-DSL實現，這大幅縮短了核心編譯時間，PyTorch官方已宣布其FlexAttention支持FlashAttention-4後端。
核心團隊
FlashAttention-4由FlashAttention核心作者、普林斯頓大學助理教授、TogetherAI首席科學家Tri Dao領銜研發，並與Meta、Together AI等機構團隊共同合作完成。
重要事件
2025年8月，在半導體行業會議Hot Chips 2025上，TogetherAI首席科學家Tri Dao介紹了FlashAttention-4。該版本在英偉達Blackwell GPU上，其速度比英偉達cuDNN庫中的注意力核實現有所提升。此次介紹揭示了FlashAttention-4的兩項關鍵算法改進：新的線上softmax算法可跳過部分輸出重縮放，以及使用軟體模擬指數函式以提高吞吐量。
2026年3月，FlashAttention-4正式發布。核心作者、普林斯頓大學助理教授Tri Dao表示，經過算法與核心的重新設計，在Blackwell GPU上，注意力機制的執行速度已接近矩陣乘法。新版本採用了軟體流水線、多項式指數模擬、條件式softmax重縮放以及利用Blackwell硬體特性等技術。性能測試顯示，其前向傳播比cuDNN 9.13快1.1-1.3倍。同時，PyTorch官方宣布其FlexAttention支持FlashAttention-4後端。
2026年3月，英偉達的Agentic Variation Operator方案，在自主最佳化後生成的核心，在Blackwell B200上的性能超出FlashAttention-4。
