NVIDIADeepStream SDK 是英偉達（NVIDIA）公司推出的一款基於GStreamer框架的實時流分析工具包。它專為構建端到端視覺人工智慧套用而設計，能夠對視頻、音頻、圖像及多感測器數據進行AI分析和理解。該SDK提供完整的GPU加速處理流水線，支持從雲端到邊緣設備（如NVIDIA Jetson）的多平台部署。DeepStream SDK包含硬體加速外掛程式與示例，支持C/C++、Python等多種開發方式，並作為NVIDIA Metropolis平台與NVIDIA AI Enterprise的組成部分，用於開發與部署AI流分析套用。
基本介紹
- 外文名：NVIDIA DeepStream SDK
研發背景,發展歷程,核心技術,運營模式,核心團隊,重要事件,
研發背景
NVIDIA DeepStream SDK 是 NVIDIA 開發的，基於gstreamer框架的實時流分析工具包，用於基於 AI 的多感測器處理、視頻、音頻和圖像理解。它是NVIDIA Metropolis平台的重要組成部分，該平台用於構建端到端視覺 AI 套用和服務，旨在將像素和感測器數據轉化為可操作的洞察力。該 SDK 適用於為智慧城市、零售、製造等多個行業構建視覺 AI 套用和服務。
發展歷程
2009年，Aparna Chhajed 加入 NVIDIA DeepStream 團隊，並參與了將用於NVIDIA Jetson的Tegra處理器代碼庫與x86處理器代碼庫合併為一個統一代碼庫的重要工作。
2022年1月，DeepStream 6.0 GA 版本發布，帶來了多項新外掛程式、新樣例，並引入了 Graph Composer 這一低代碼圖形編程工具。
2023年8月，DeepStream SDK 6.3 版本發布，引入了圖形執行格式（GXF）和 GPU 加速狀態機。
2024年5月，DeepStream 7.0 發布，引入了通過 Python API 使用新的 DeepStream 庫、簡化套用開發的 Service Maker、增強的單視角 3D 追蹤器、支持感測器融合模型 BEVFusion 的 DeepStream 3D 框架、對 Windows Subsystem for Linux (WSL2) 的支持，以及用於簡化 AI 管線最佳化的工具 PipeTuner 1.0。
2024年11月，DeepStream 7.1 發布，在 Service Maker 中引入了 Python 支持。
2025年9月，NVIDIA發布了與 NVIDIA TAO 6 集成的教程，指導開發者構建實時視覺檢測管線。
2026年，DeepStream 8.0 及之後的版本開始支持 NVIDIA Blackwell 架構 GPU。DeepStream 9.0 發布，在此版本中，圖形執行格式（GXF）和 Graph Composer 被棄用，並引入了 DeepStream Coding Agent、視覺語言模型（VLM）支持等新特性。
核心技術
NVIDIA DeepStream SDK的核心技術基於GStreamer多媒體框架，是一個用於基於AI的多感測器處理、視頻、音頻和圖像理解的實時流分析工具包。SDK提供一系列專有的硬體加速GStreamer外掛程式以構建處理流水線，例如流多路復用器（nvstreammux）、推理外掛程式（nvinfer, nvinferserver）、跟蹤器外掛程式（nvtracker）、顯示疊加外掛程式（nvdsosd）等。
其底層深度集成NVIDIACUDA-X技術棧，包括CUDA、TensorRT、Triton Inference Server和多媒體庫。SDK提供由NVIDIA CV-CUDA、NvImageCodec和PyNvVideoCodec支持的低層級GPU加速操作庫，用於最佳化視覺AI流水線的前後處理階段。
在高級功能方面，支持多視圖3D跟蹤（MV3DT）和單視圖3D跟蹤（SV3DT），並可通過DeepStream 3D（DS3D）框架支持感測器融合模型（如BEVFusion）。其跟蹤器採用統一架構，支持IOU、NvSORT、NvDeepSORT、NvDCF等多種算法。
從DeepStream 7.0開始，引入了通過Python API使用的DeepStream庫和用於簡化C++套用開發的DeepStream Service Maker。DeepStream 9.0新增了Coding Agent支持、VLM支持、跟蹤器增強及監控指標導出器。SDK還提供REST API用於流水線控制與監控，並支持Windows Subsystem for Linux (WSL2)開發和PipeTuner最佳化工具。
運營模式
NVIDIA DeepStream SDK 是一款閉源但提供部分原始碼的軟體開發工具包，其使用受《NVIDIA DEEPSTREAM LICENSE》許可協定約束。
根據許可協定，用戶可在配備 NVIDIA GPU 的系統上安裝、使用該SDK以開發和測試服務與套用，並可修改其附帶的示例原始碼以創建衍生作品。協定禁止對 SDK 進行反向工程、反編譯或去除著作權標識；禁止將 SDK 作為獨立產品進行分發；禁止在未獲 NVIDIA 授權的情況下聲稱相關服務或套用獲得 NVIDIA 贊助或認可；同時明確禁止在航空、導航、軍事、醫療等生命關鍵領域使用該 SDK。
該 SDK 主要通過 NVIDIA GPU 雲（NGC）容器倉庫以容器化形式提供，支持在雲端、工作站及 NVIDIA Jetson 等邊緣設備上部署。此外，DeepStream SDK 也作為NVIDIA AI Enterprise企業級 AI 軟體平台的一部分提供，為企業用戶提供經過驗證的集成方案、解決方案工作流以及企業級技術支持與安全保障。
核心團隊
Aparna Chhajed 自2009年起加入NVIDIADeepStream 團隊，擔任項目經理，負責管理每個版本的發布，並見證了SDK下載量從幾百增長到近25萬，她主導了將 Jetson（Tegra）和x86代碼庫合併為一個統一代碼庫的工作。
Paul Shin 擔任追蹤器開發（Tracker Development）負責人，曾在僅限受邀者參加的技術深度解析研討會中講解 DeepStream 跟蹤器技術。
陳菲是NVIDIA系統軟體工程師，從事 DeepStream SDK 相關開發和維護工作，曾在 DeepStream 6.0 GA 線上研討會中擔任演講者。
NVIDIA會定期舉辦僅限受邀者參加的技術深度解析研討會，由產品團隊和專家與重要客戶進行深度交流，以推動下一代視覺 AI 套用的開發。
重要事件
2021年5月，在GTC 2021大會上，NVIDIA舉辦了以DeepStream SDK為主題的分會場演講，介紹了該SDK在AI視覺開發和高性能視頻分析套用方面的功能。
2024年5月，NVIDIA發布了DeepStream 7.0版本，該版本包含多項新功能。
2025年8月，在SIGGRAPH 2025大會上，NVIDIA展示了與合作夥伴在相關領域的套用，其中涉及DeepStream SDK的實時推理功能在邊緣部署中的使用。
在交通與安防領域，卓視智通採用NVIDIA DeepStream SDK開發了車輛識別技術。Industry.AI使用了包括DeepStream在內的NVIDIA Metropolis技術棧，套用於機場安全與運營管理。
在工業與邊緣計算領域，深矽科技基於NVIDIA Jetson系列硬體和DeepStream軟體，推出了多款智慧型邊緣計算產品。部分企業（如OneCup AI， Fingermark， Trifork）在視覺AI套用開發中使用了DeepStream SDK。
