NVIDIA TAO

NVIDIA TAO（全稱NVIDIA Train, Adapt, and Optimize）是英偉達公司推出的一個低代碼AI開發平台與工作流程驅動框架。該平台旨在簡化和加速企業級AI套用的創建與部署，其核心集成遷移學習、聯邦學習等先進技術，並包含TensorRT最佳化組件。用戶無需深厚的AI專業知識，即可利用少量自有數據對預訓練模型進行快速微調與最佳化，從而將特定領域模型的開發周期從數月大幅縮短至數小時。TAO支持TensorFlow、PyTorch等主流框架，生成的模型可靈活部署於雲端或Jetson等邊緣計算設備，已廣泛套用於工業質檢、智慧城市、醫療影像及自動駕駛等多個領域。

基本介紹

• 外文名：NVIDIA TAO
• 類別：工作流程驅動框架
• 上市時間：2021年

研發背景

NVIDIA於2021年推出TAO（Train, Adapt, and Optimize）人工智慧模型適應平台，旨在簡化和加速企業級AI套用和服務的創建。該平台匯集了遷移學習工具包（TLT，後更名為TAO工具套件）等技術。通過基於GUI的指導性工作流程，讓用戶無需深度AI專業知識即可對預訓練模型進行微調。

發展歷程

2021年，NVIDIA發布TAO工具套件3.0版本，引入新預訓練模型並公開可用，該版本提供了包括車牌檢測與識別、心率監測、手勢識別等在內的視覺AI預訓練模型，以及對話式AI模型支持，並支持NVIDIA Ampere架構GPU。

2022年，發布新版本TAO工具套件，增加了ONNX模型權重導入、REST API和TensorBoard集成等功能，並更新了視覺及語音預訓練模型。

2023年，在GTC23大會上發布TAO Toolkit 5.0版本，此版本新增支持標準ONNX格式模型導出、引入了全注意力網路（FAN）、全局上下文視覺Transformer（GC-ViT）等視覺Transformer模型，並增加了AI輔助數據標註功能。

2024年初，發布TAO 5.2版本，該版本在5.0基礎上，引入了基於ODISE模型的零樣本全景分割推理、使用CenterPose創建3D物體姿勢模型、使用FasterViT實現ViT推理吞吐量最大化等功能，並增強了AutoML自動微調超參數的能力；同年9月發布TAO 5.5版本，引入了多模態感測器融合模型、文本提示自動標記、開放辭彙檢測以及知識蒸餾等功能，增強了基礎模型和訓練能力。

2025年至2026年，TAO Toolkit持續疊代，發布了v5.3.0等版本，2026年2月，最新版本為TAO v6.25.11。

核心技術

NVIDIA TAO Toolkit是一個基於TensorFlow和PyTorch的低代碼AI工具包，旨在通過抽象化AI模型與深度學習框架的複雜性，簡化和加速模型訓練過程。該工具包提供遷移學習能力，允許開發者利用大量預訓練模型，僅需少量自定義數據即可進行微調，而無需從頭訓練，從而顯著縮短開發周期。

其核心技術包括遷移學習，該技術允許從現有神經網路中提取特徵並移植到新網路，利用小型數據集為模型提供自定義適配。聯邦學習支持不同站點在保護數據隱私的前提下安全協作，通過共享模型權重等方式最佳化模型精度，而數據集保留在各站點的本地。模型最佳化流水線集成了剪枝、量化感知訓練等技術，以減小模型體積、提升推理速度，並支持將訓練好的模型導出為行業標準的ONNX格式，便於跨平台部署。知識蒸餾技術則利用大型教師網路的知識來訓練更小、更高效的學生網路。

TAO 5.5版本引入了多模態感測器融合模型，可將來自多個感測器的數據整合為統一的鳥瞰圖表示，並支持開放辭彙檢測與分割，允許使用自然語言描述而非預定義標籤來識別和分割物體。該工具包支持圖像分類、目標檢測、實例分割、語義分割、光學字元檢測與識別、姿態估計等廣泛的計算機視覺任務，並集成了如FAN、GC-ViT等先進的視覺Transformer模型。TAO還提供數據服務功能，包括數據增強和AI輔助標註，以提升數據集質量。用戶可以從NGC獲取超過100種預訓練模型，涵蓋多種神經網路架構和骨幹網路的組合。

套用領域

NVIDIA TAO作為一個低代碼AI開發框架，通過遷移學習等技術，其預訓練模型可用於智慧城市、零售、醫療健康和工業檢測等廣泛的AI套用。憑藉其靈活性，該框架可為零售業的產品識別、醫療行業的醫學影像分類、製造業的機器人裝配監控、智慧城市的交通管理等各類套用提供助力。

NVIDIA TAO已經在倉庫、零售、醫院和工廠車間使用，用戶包括埃森哲、寶馬和西門子數字工業等公司。此外，OneCup AI、RocketBoots和Floatbot等科技公司也利用TAO加速其AI解決方案開發。瑞薩電子將TAO集成到其MPU和MCU的圖形化用戶界面中，以拓展邊緣計算中計算機視覺的套用潛力。

核心團隊與生態

NVIDIA企業開發者社區高級經理何琨曾在TAO相關的技術研討會中擔任演講者。

TAO模型可以部署到DeepStream用於視頻分析套用，或Triton用於推理服務用例。TAO Toolkit提供將模型導出為可使用NVIDIA Riva部署的格式的能力。TAO訓練生成的模型可以部署在GPU、CPU、MCU和DLA等多種推理平台。

重要事件

2021年6月，在CVPR 2021期間，英偉達發布全新預訓練模型並宣布TAO工具套件3.0全面公開可用。同年8月，NVIDIA發布多個可直接用於生產的預訓練模型和TAO工具套件3.0開發者測試版，以及DeepStream SDK 5.1。

2023年3月，在GTC23大會上，NVIDIA發布TAO Toolkit 5.0，支持ONNX導出、集成視覺Transformer（ViT）模型，並增強了AI輔助數據標註等功能。

2024年1月，NVIDIA發布TAO 5.2版本，引入ODISE（開放辭彙分割）、CenterPose（3D姿態估計）等新模型，並支持標準ONNX格式導出。同年9月，NVIDIA發布TAO 5.5版本，引入多模態感測器融合、文本提示自動標記、開放辭彙檢測及知識蒸餾等前沿功能。

2025年7月，瑞薩電子（Renesas）宣布將NVIDIA TAO集成到其MPU和MCU的圖形化用戶界面（GUI）中，以簡化邊緣Vision AI開發。2025年至2026年初，TAO持續更新，版本演進至v6.25.11。