video-analyzer是一款本地視頻分析工具，通過整合Ollama框架的Llama3.2 11B視覺模型與OpenAI的Whisper模型，實現關鍵幀提取、音頻轉錄及視頻內容自然語言描述。該工具可在本地運行，其功能包括關鍵幀識別、音頻轉錄、最佳化低質量音頻，並支持將元數據與逐幀分析結果導出為JSON格式。運行需Python 3.11或更高版本、FFmpeg，運行本地語言模型時需要至少16GB RAM及GPU至少12GBVRAM或Apple M系列至少32GB記憶體。該工具也可通過OpenRouter等OpenAI API兼容服務進行分析，並支持通過命令行參數進行配置與自定義提示。分析結果輸出為包含元數據、音頻轉錄、逐幀分析和最終描述的JSON檔案。
該工具於2024年12月29日發布開源版本，集成了Llama 11B與Whisper模型並實現元數據導出功能。2025年1月3日升級至Llama3.2視覺模型。
基本介紹
- 外文名：video-analyzer
- 最近更新時間：2025年1月3日
- 上市時間：2024年12月29日
- 產品類型：本地視頻分析工具
核心功能,技術原理,安裝與使用,配置與調優,套用領域,發展歷史,開源信息,
核心功能
關鍵幀提取：智慧型提取視頻關鍵幀
音頻轉錄：高精度轉錄音頻內容
自然語言描述：生成視頻詳細文本描述
本地視頻分析：無需雲端處理本地視頻
音頻增強處理：自動最佳化低質量音頻
技術原理
video-analyzer的系統設計主要分為三個階段：幀提取與音頻處理、幀分析和視頻重建。
使用OpenCV庫提取視頻關鍵幀，並通過OpenAI的Whisper模型處理音頻進行轉錄，可自動處理低質量音頻。
基於Ollama框架的Llama3.2 11B視覺模型對關鍵幀進行分析，提取視覺信息，分析時考慮前一幀的上下文以保持視頻內容的連貫性。
將幀分析結果按時間順序組合，形成視頻的逐幀描述；整合音頻轉錄內容，使用視頻第一幀設定場景背景，最終生成綜合的視頻描述。
安裝與使用
安裝步驟包括克隆倉庫、創建並激活虛擬環境、安裝包以及根據作業系統安裝FFmpeg。
若選擇本地運行LLM，需進行Ollama設定，包括安裝Ollama、拉取默認視覺模型並啟動服務。
基本使用方法支持本地分析、使用雲端LLM服務以提高速度和規模，以及通過--prompt參數自定義分析提示。
工具會生成一個JSON檔案，包含分析元數據、音頻轉錄、逐幀分析結果和最終的視頻描述。
配置與調優
video-analyzer 採用級聯配置系統，配置項的優先權從高到低依次為命令行參數、用戶配置檔案（config/config.json）和默認配置。
該工具提供了提示調優工具 video-analyzer-tune，可通過 pip install video-analyzer-tune 安裝，用戶可在代表性視頻上運行該工具，並通過編輯其輸出來定義理想的分析結果，隨後由 DSPy MIPROv2 自動尋找更優的提示指令。
套用領域
該工具適用於內容審核、視頻管理、教育培訓、安全監控和媒體娛樂等領域，其套用場景包括監控、廣告分析、內容分類等，可用於分析視頻內容，生成元數據和描述，便於後續的內容管理和檢索。
發展歷史
項目持續更新，在支持本地運行的基礎上，新增通過OpenRouter等OpenAI API兼容的LLM服務進行雲分析的功能，以提高處理速度和擴展性。同時，工具的功能得到進一步豐富，並詳細明確了系統要求、安裝流程、配置方法及提示調優功能。
2025年01月03日，升級視覺模型至Llama3.2，增強關鍵幀識別精度與長視頻處理能力。
2024年12月29日，支持JSON格式導出視頻元數據、音頻轉錄及逐幀分析結果。
2024年12月29日，首發開源版本，集成Llama 11B與Whisper模型，實現本地視頻分析。
開源信息
video-analyzer 採用Apache License開源協定。項目歡迎外部貢獻，詳細的貢獻指南請參閱檔案。用戶可通過命令卸載此工具。
