Tri Dao

Tri Dao是普林斯頓大學計算機科學助理教授（自2024年9月起），也是生成式AI初創公司Together AI的首席科學家。他於史丹福大學獲得計算機博士學位，導師是Christopher Ré和Stefano Ermon。其研究興趣在於機器學習和系統，重點關注高效Transformer訓練和推理、遠程記憶的序列模型等方向。

Tri Dao是FlashAttention的作者，該算法能加快注意力計算速度並將記憶體使用降至線性。基於此，他後續提出了Flash-Decoding技術，提升長文本推理速度。2023年，他與Albert Gu共同提出了Mamba架構，該架構在語言建模任務上達到了媲美Transformer的性能。Tri Dao與Albert Gu合作開發的理論框架揭示了狀態空間的二元性，展示了各種線性注意機制和狀態空間模型之間的等價性。Tri Dao曾與AMD合作開發過一個版本的FlashAttention，並將其集成進了公共倉庫，並討論了模型架構與硬體的協同設計。他預測未來2-3年內，AI硬體格局將從NVIDIA當前約90%的主導地位轉向更加多元化的生態系統。2025年，他因“下一代基礎模型的硬體高效架構”研究獲得谷歌研究學者計畫獎項。

基本介紹

• 學位/學歷：計算機博士
• 職業：助理教授、首席科學家
• 專業方向：機器學習、系統、高效Transformer訓練和推理、遠程記憶的序列模型
• 職務：助理教授、首席科學家
• 主要成就：提出FlashAttention算法、開發Flash-Decoding技術、共同提出Mamba架構、獲得谷歌研究學者計畫獎

教育背景

Tri Dao在史丹福大學獲得計算機博士學位，導師為Christopher Ré和Stefano Ermon。

職業生涯

自2024年9月起，Tri Dao擔任普林斯頓大學計算機科學助理教授。Tri Dao擔任生成式AI初創公司Together AI的首席科學家。

榮譽與獎項

2025年，Tri Dao入選谷歌研究學者計畫，其獲獎研究為“下一代基礎模型的硬體高效架構”。

學術觀點

Tri Dao預測未來2-3年內，AI硬體格局將從NVIDIA當前約90%的主導地位轉向更加多元化的生態系統。Tri Dao討論了模型架構與硬體的協同設計。

Tri Dao曾與AMD合作開發過一個版本的FlashAttention，並將其集成進了公共倉庫。

2026年3月，FlashAttention 4.0版本正式發布，在並行性、長序列支持、低精度計算及異步執行等方面持續增強。

Tri Dao認為注意力機制與狀態空間模型可以互為補充。Tri Dao與Albert Gu合作開發的理論框架揭示了狀態空間的二元性，展示了各種線性注意機制和狀態空間模型之間的等價性。