浪潮TF2是由浪潮公司於2019年人工智慧計算大會（AICC2019）發布的全球首個完整方案的FPGA高效AI計算開源框架，主要套用於AI推理部署領域，旨在降低FPGA技術套用門檻並提升深度學習模型部署效率。
該框架包含模型最佳化轉換工具TF2 Transform Kit和FPGA智慧型運行引擎TF2 Runtime Engine。前者支持對PyTorch、TensorFlow等框架訓練的模型進行壓縮、量化及通道裁剪，如ResNet50模型檔案可縮減93.75%且精度無損；後者通過DNN移位計算技術實現FPGA推理加速，在FaceNet模型實測中單圖處理耗時0.612ms，性能提升達12.8倍。框架已適配ResNet50、GoogLeNet等主流模型，支持多類深度學習運算元。開源社區吸引了第四範式、快手、上海大學等機構參與，並通過可重構AI計算發展計畫為高校及商業用戶提供FPGA加速卡支持，南開大學等機構已基於該框架取得套用成果。
基本介紹
- 中文名：浪潮TF2
- 組成部分：模型最佳化轉換工具TF2 Transform Kit、FPGA智慧型運行引擎TF2 Runtime Engine
產品簡介,開源社區,AI發展計畫,
產品簡介
FPGA技術具有可定製性、低延遲和高性能功耗比等優勢，已成為諸多AI用戶部署推理套用的選擇。但FPGA技術進入到大規模AI業務部署仍舊存在軟體編寫門檻高、性能最佳化受限、功耗難以控制等諸多挑戰。為了應對這些挑戰，浪潮推出了開源的TF2框架。
TF2由兩部分組成。
第一部分是模型最佳化轉換工具TF2 Transform Kit，可將經過PyTorch、TensorFlow、Caffe等框架訓練得到的網路模型數據進行壓縮、裁剪、8位量化等操作，減少模型計算量。如對於ResNet50模型，通過壓縮32位浮點模型為4位整數模型與通道裁剪，可將模型檔案裁剪掉93.75%，幾乎無精度損失並保持原始模型的基本計算架構。
第二部分是FPGA智慧型運行引擎TF2 Runtime Engine，可將已最佳化轉換的模型檔案自動轉化為FPGA目標運行檔案，通過創新的DNN移位計算技術大幅提升FPGA進行推理計算的性能，並有效降低其實際運行功耗。TF2已完成在ResNet50、FaceNet、GoogLeNet、SqueezeNet等主流DNN模型上的測試驗證。在浪潮F10A FPGA卡上採用FaceNet模型對TF2進行的測試（BatchSize=1）表明，運行TF2後單張圖片的計算耗時為0.612ms，提速12.8倍。
開源社區
在2019人工智慧計算大會(AICC2019)上，浪潮宣布開源發布基於FPGA的高效AI計算框架TF2
已有第四範式、快手、上海大學、遠鑒科技、睿視智覺、華展匯元等多家公司或研究機構加入TF2開源社區，社區將共同推動基於可定製晶片FPGA的AI技術的開源開放合作發展，降低高性能AI計算技術門檻，幫助AI用戶和開發者縮短開發周期。
根據浪潮公布的開源社區建設計畫，浪潮將持續投入對TF2進行更新，將開發開源自動模型解析、結構性裁剪、任意比特量化等新功能，並持續最佳化TF2對各種深度學習運算元與模型的兼容支持。此外，社區將定期舉行開發者會議和線上公開課，分享最新技術進展和經驗成果，並通過高校教育計畫培養開發者，同時開展用戶移植方案制定和開發技術支持。
AI發展計畫
為了推動TF2社區建設，浪潮推出了可重構AI計算發展計畫，為參與者提供F10A、F37X等最新FPGA加速卡支持。參與該計畫的高校將FPGA開源AI框架TF2套用於AI科研或套用並取得創新成果，並承諾將最佳化後代碼反饋回TF2開源社區，即可獲贈最新FPGA加速卡。同時，參與該計畫的商業用戶也可獲得較大程度的FPGA加速卡購買優惠。該計畫可在TF2開源社區進行申請。南開大學等知名高校已加入該計畫。
