OpenVINO

OpenVINO，全稱Open Visual Inference & Neural network Optimization，是英特爾推出的開源工具套件，用於最佳化深度學習模型推理性能並加速計算機視覺套用部署，支持英特爾CPU、GPU、FPGA及Movidius VPU等硬體平台。其核心組件包含模型最佳化器、推理引擎與DL Boost技術，可將TensorFlow、PyTorch等框架的模型轉換為中間表示（IR）格式，實現跨平台部署。

該工具套件自2021年起與百度飛槳開展合作，適配PaddleOCR等模型並支持直接推理。.0版本新增對Llama 3.2等大語言模型的支持，通過NPU加速與CPU性能最佳化提升推理效率，套用於智慧零售、工業質檢及智慧型醫療等領域。

基本介紹

• 外文名：OpenVINO
• 開發公司：英特爾

套用案例

實測顯示，OpenVINO框架在搭載英特爾酷睿Ultra 7 255H處理器和銳炫140T核顯的輕薄本上，能夠運行阿里巴巴的Z-Image-Turbo模型以處理文生圖任務。

測試中，生成1080×1440解析度的圖片需1-2分鐘，疊代步數8步時耗時約1分29秒至2分07秒，可用於日常創作等場景，表明在集成顯示卡設備上也能運行AIGC任務。

憑藉OpenVINO最佳化框架，用戶可以調用高達96GB記憶體來處理複雜的AI工作負載。

合作情況

2021年，百度飛槳與英特爾OpenVINO開展合作並進行適配。經適配的PaddleOCR、PaddleSeg、PaddleDetection等模型，開發者可使用OpenVINO進行推理部署，或通過其模型最佳化器轉化為IR格式以進一步部署。