verl是位元組跳動開源的一款聚焦大模型“訓練+推理”全流程的高效強化學習訓練框架，其核心定位是降低大模型強化學習訓練與高效推理的門檻。該框架覆蓋訓練和推理兩大核心場景，封裝了PyTorch、Megatron-LM等訓練框架和vLLM等推理引擎，支持PPO、GRPO等強化學習算法。verl支持FSDP、Megatron-LM等多種訓練後端，其hybridengine技術能提升訓練吞吐。該框架使用Ray進行分散式訓練，並可集成NVIDIA Nsight Systems等性能分析工具。有項目在verl基礎上擴展了多智慧型體強化學習訓練能力。
基本介紹
- 外文名：verl
研發背景,發展歷程,核心技術,核心團隊,重要事件,
研發背景
隨著DeepSeek R1的出現，強化學習訓練範式成為大語言模型後訓練的主流技術需求。為降低大模型強化學習訓練與高效推理的門檻，尤其適配企業級大模型落地場景，火山引擎團隊研發並開源了verl框架。
發展歷程
2025年7月，verl v0.4.1版本發布，並集成了Nsight Systems性能分析工具。
2025年11月，verl發布Docker容器化部署手冊，明確了其作為聚焦大模型“訓練+推理”全流程工具集的定位。同時，PettingLLMs在verl的基礎上支持通用的多智慧型體強化學習訓練，擴展了verl的生態套用。
2026年1月，verl作為核心組件被集成進火山引擎的“AI雲原生訓練套件”。該套件聚焦強化學習場景，集成verl框架以提升模型訓練效率與推理性能。
核心技術
verl是一個用於大模型訓練與推理的工具集，旨在服務於大模型的訓練與推理流程。其通過封裝深度學習框架和推理引擎，幫助開發者處理環境依賴與分散式配置等問題。
verl採用單一控制流來設計算法流程。verl對worker進程進行了抽象，以支持資源分配與不同計算任務的調度。
在訓練方面，verl支持多訓練後端，可適配FSDP和Megatron-LM。其內置了強化學習訓練流程，可用於大模型RLHF等任務。verl能適配PyTorch、CUDA、FlashAttention等依賴版本。verl的hybridengine技術針對訓練吞吐量進行了最佳化。
在推理方面，verl支持多推理引擎，集成了vLLM、TGI。其設計聚焦於“rollout生成”，專為強化學習場景設計，旨在最佳化推理速度。
verl支持通過YAML配置檔案修改訓練參數。若使用掛載目錄部署，可直接修改源碼，無需重新構建鏡像。
verl集成了Nsight Systems的分析工具。在程式內部可通過特定函式控制Nsight Systems的跟蹤。verl使用NVTX描繪運行流程，並對關鍵步驟進行範圍標記。在設計中，這些標記與verl提供的計時函式進行了結合。
PettingLLMs基於verl框架，用於多智慧型體強化學習訓練。其實現了agent與環境的並發機制。
核心團隊
VERL由位元組跳動火山引擎團隊開發並開源。
重要事件
2025年7月，verl集成了NVIDIA Nsight Systems的分析工具。2025年11月，社區基於verl框架擴展出支持多智慧型體強化學習的PettingLLMs項目。2026年1月，verl被集成至火山引擎‘AI雲原生訓練套件’，成為其強化學習場景的核心組件。
