TF2是全球首個完整方案的FPGA高效AI計算開源框架，這一框架的推理引擎採用全球首創的DNN移位計算技術，結合多項最新最佳化技術，可實現通用深度學習模型基於FPGA晶片的高性能低延遲部署。
基本介紹
- 中文名：浪潮TF2
- 組成部分：模型最佳化轉換工具TF2 Transform Kit、FPGA智慧型運行引擎TF2 Runtime Engine
產品簡介,開源社區,AI發展計畫,
產品簡介
FPGA技術具有可定製性、低延遲和高性能功耗比等優勢，已成為諸多AI用戶部署推理套用的選擇。但FPGA技術進入到大規模AI業務部署仍舊存在軟體編寫門檻高、性能最佳化受限、功耗難以控制等諸多挑戰。為了應對這些挑戰，浪潮推出了開源的TF2框架。
TF2由兩部分組成。
第一部分是模型最佳化轉換工具TF2 Transform Kit，可將經過PyTorch、TensorFlow、Caffe等框架訓練得到的網路模型數據進行壓縮、裁剪、8位量化等操作，減少模型計算量。如對於ResNet50模型，通過壓縮32位浮點模型為4位整數模型與通道裁剪，可將模型檔案裁剪掉93.75%，幾乎無精度損失並保持原始模型的基本計算架構。
第二部分是FPGA智慧型運行引擎TF2 Runtime Engine，可將已最佳化轉換的模型檔案自動轉化為FPGA目標運行檔案，通過創新的DNN移位計算技術大幅提升FPGA進行推理計算的性能，並有效降低其實際運行功耗。TF2已完成在ResNet50、FaceNet、GoogLeNet、SqueezeNet等主流DNN模型上的測試驗證。在浪潮F10A FPGA卡上採用FaceNet模型對TF2進行的測試（BatchSize=1）表明，運行TF2後單張圖片的計算耗時為0.612ms，提速12.8倍。
開源社區
在2019人工智慧計算大會(AICC2019)上，浪潮宣布開源發布基於FPGA的高效AI計算框架TF2
已有第四範式、快手、上海大學、遠鑒科技、睿視智覺、華展匯元等多家公司或研究機構加入TF2開源社區，社區將共同推動基於可定製晶片FPGA的AI技術的開源開放合作發展，降低高性能AI計算技術門檻，幫助AI用戶和開發者縮短開發周期。
根據浪潮公布的開源社區建設計畫，浪潮將持續投入對TF2進行更新，將開發開源自動模型解析、結構性裁剪、任意比特量化等新功能，並持續最佳化TF2對各種深度學習運算元與模型的兼容支持。此外，社區將定期舉行開發者會議和線上公開課，分享最新技術進展和經驗成果，並通過高校教育計畫培養開發者，同時開展用戶移植方案制定和開發技術支持。
AI發展計畫
為了推動TF2社區建設，浪潮推出了可重構AI計算發展計畫，為參與者提供F10A、F37X等最新FPGA加速卡支持。參與該計畫的高校將FPGA開源AI框架TF2套用於AI科研或套用並取得創新成果，並承諾將最佳化後代碼反饋回TF2開源社區，即可獲贈最新FPGA加速卡。同時，參與該計畫的商業用戶也可獲得較大程度的FPGA加速卡購買優惠。該計畫可在TF2開源社區進行申請。南開大學等知名高校已加入該計畫。
