研發背景,發展歷程,核心技術,核心運行時與調度機制,自動微分與CUDA子系統,Fabric張量系統,前端與核心性能,技術局限性與弗蘭肯斯坦效應,運營模式,核心團隊,重要事件,
研發背景
VibeTensor項目由英偉達傑出工程師許冰(Bing Xu)發起。其靈感來源於許冰觀看Andrej Karpathy的播客,旨在探索AI Agent生成複雜系統軟體的能力。VibeTensor的出現是一場關於“生成式軟體工程”的宏大實驗。
發展歷程
VibeTensor項目自2025年夏天啟動,許冰自此未手寫代碼。該項目是他看過Andrej Karpathy的播客之後開始的。
開發過程持續約兩個月,由高層級人類指令驅動AI Agent自主演化。VibeTensor的開發過程可以看作是一個重複的循環,包括指定範圍目標和不變數、Agent生成並套用代碼變更、編譯並運行測試、隨著子系統的組合擴大驗證範圍。開發遵循測試驅動的“硬核”規範。
VibeTensor在GitHub上由許冰開源,相關論文同期發布。論文標題為《VibeTensor: System Software for Deep Learning, Fully Generated by AI Agents》。
核心技術
VibeTensor是一個完全由AI Agent生成的全棧式深度學習系統框架,其設計遵循即時執行範式,強調端到端的連貫性、可測試性以及互操作性。系統架構涵蓋Python和Node.js前端、C++20核心運行時、自動微分引擎以及CUDA子系統。該框架的核心創新點包括其獨特的開發方法論、Fabric張量系統,以及揭示了AI生成複雜軟體時出現的“弗蘭肯斯坦效應”。
核心運行時與調度機制
VibeTensor的C++20核心運行時實現了一個完整的TensorImpl架構,作為參考計數的Storage之上的視圖,支持非連續視圖和as_strided語義,並引入了原子版本計數器確保原地操作的安全性。在運算元調度層面,AI構建了一個輕量級模式的調度器,能夠將操作名精準映射到CPU或CUDA的核心實現上,支持鎖定和非鎖定調用路徑,並通過不可變的快照狀態實現了穩態下的無鎖調用,以降低調度開銷。
自動微分與CUDA子系統
系統實現了一個反向模式的自動微分引擎,通過維護節點和邊的圖對象以及每個張量的AutogradMeta來實現。其CUDA子系統由AI獨立實現,包括流、事件以及一個具有流有序語義的快取分配器。
Fabric張量系統
Fabric是VibeTensor獨創的一個顯式的多設備抽象層,不屬於任何現有主流框架。它的核心使命是打破單卡運行時的限制,直接接管硬體拓撲的自動發現過程,能夠主動識別CUDA P2P和UVA支持情況。不同於傳統框架將多卡通信隱藏在複雜的分散式API後,Fabric提供了一套透明的可觀測原語,允許研究者直接控制記憶體的放置與同步策略。在評估中,AI甚至基於Fabric構建了一個可選的、綁定CUTLASS實驗性核心的環形全歸約外掛程式。
前端與核心性能
VibeTensor提供了Python和Node.js雙前端,其中Python前端通過nanobind實現高度兼容的覆蓋層,Node.js前端則基於Node-API採用異步優先設計。其核心套件由AI生成,包含200多個源檔案,涵蓋了從基礎到複雜的各類運算元,這些核心利用Triton和英偉達的CuTeDSL編寫。性能上,其生成的Fused Attention核心在特定配置下表現優異,前向計算性能達到PyTorch SDPA/FlashAttention基線的1.54倍,反向計算達到1.26倍。
技術局限性與弗蘭肯斯坦效應
儘管VibeTensor各子系統邏輯正確且能通過測試,但在組合成全局系統時,暴露出“弗蘭肯斯坦效應”。這是AI智慧型體構建複雜系統時的核心局限性,即局部正確的組件在集成時會產生意想不到的“摩擦”,形成全局性能瓶頸。例如,AI為保障多執行緒安全而在Autograd引擎中設計的全局互斥鎖,從局部看穩健,卻在全局運行時嚴重限制了並行效率,導致GPU核心空轉。這使得VibeTensor在端到端訓練性能上顯著慢於PyTorch(約1.7倍到6.2倍)。此效應揭示了AI在處理系統“組合穩定性”時面臨的挑戰。
運營模式
VibeTensor的運營模式核心是其完全由AI Agent主導的軟體開發流程。其開發過程是一個長達兩個月、由高層級人類指令驅動的Agent自主演化過程。具體遵循一個重複的循環閉環,包括人類指定範圍目標和不變數、Agent生成並套用代碼變更、編譯並運行測試、隨著子系統的組合擴大驗證範圍。在整個過程中,人類僅提供高層次的指導和範圍目標,不參與任何具體的編碼、Bug修復或構建驗證工作,所有代碼的增刪改查均由英偉達第四代AI Agent獨立完成。
為確保代碼質量,項目採用測試驅動的開發規範。每一行新增或修改的代碼都必須經過C++(CTest)和Python(pytest)雙重測試套件的嚴格驗證。此外,AI Agent還創新性地將PyTorch作為“參考原件”,建立了一套自動化的API對齊檢查器,以確保生成系統與主流框架的接口兼容性。
然而,這種全AI生成模式也揭示了其局限性,即“弗蘭肯斯坦效應”(Frankenstein Effect)。AI能夠確保每一個局部子系統在邏輯上正確並通過單元測試,但當這些局部組件被組合成一個龐大的全局系統時,它們之間會產生意想不到的“摩擦”和設計效率低下問題,導致全局性能出現結構性崩塌。這構成了AI生成複雜系統在運營中面臨的核心挑戰。
核心團隊
項目由英偉達傑出工程師許冰主導並在GitHub上開源。自2025年夏天以來,許冰未手動編寫代碼,該項目是其在觀看Andrej Karpathy的播客後開始的。VibeTensor系統的全部代碼生成、修改、驗證與測試工作,均由英偉達第四代AI智慧型體獨立完成。這是人類提供高層次指導下的AI自主演化成果。
重要事件
2026年1月,英偉達傑出工程師許冰(Bing Xu)在GitHub上開源了VibeTensor項目,這是首個完全由AI智慧型體生成的深度學習系統框架,沒有一行人類編寫的代碼。同期,發布了由AI撰寫的論文《VibeTensor: System Software for Deep Learning, Fully Generated by AI Agents》。該項目獲得了陳天奇、賈揚清等業內知名人士的關注與點讚。
