BlueField SuperNIC

BlueField SuperNIC是NVIDIA推出的面向AI場景而生的高性能網卡,沿用了DPU(數據處理器)的架構,但是面向特定的AI東西向流量使用場景,以追求極致性能和系統的高擴展性為目標,兼顧部分DPU的功能。

簡介,歷史,核心結構,工作原理,性能優勢,

簡介

隨著大模型的出現和流行,如何提升GPU集群的分散式計算性能和效率、提高GPU集群的橫向擴展能力、實現在生成式AI雲上的業務性能隔離,成為了所有大模型廠商和AI服務供應商共同關注的問題。 面向東西向流量性能最佳化的BlueField SuperNIC 應運而生,通過和先進的智慧型交換機及加速軟體的配合,實現了動態路由、可程式的擁塞控制、業務在雲上的性能隔離等,讓雲上的AI性能保障不再是難題。

歷史

BlueField SuperNIC源於BlueField DPU,但是區別於DPU。DPU專注於對於基礎設施操作的卸載,是對於傳統的南北向流量的最佳化。在對於東西向流量的最佳化上,傳統的方法已經不再適用,需要用到新的技術和新的端到端平台。InfiniBand網路無疑是目前最強的東西向網路,但是傳統的雲廠商還是有一部分傾向於使用乙太網,BlueField SuperNIC借鑑了InfiniBand網路上的動態路由、擁塞控制和性能隔離等技術,又兼容了傳統乙太網在雲上的便利性,滿足了生成式AI雲對於性能、擴展性和多租戶的需求。

核心結構

CPU + 智慧型網卡 + PCIe交換 + DOCA軟體開發包

工作原理

BlueField SuperNIC面向AI雲套用場景,軟體上實現了無損(Lossless)RoCE技術和NCCL等通信庫的整體最佳化,硬體上與智慧型交換機相配合,實現簡單、直接、高效的端到端無損乙太網動態路由和擁塞控制,並為用戶提供開放的編程接口來兼容定製化的算法最佳化通信性能和效率。

性能優勢

NVIDIA BlueField SuperNIC實現了60%以上的通信效率提升,70%的大模型訓練性能提升,消除了生成式AI雲上的多任務並發訓練的相互干擾,實現了業務的性能隔離。

相關詞條

熱門詞條

聯絡我們