KTransformers

KTransformers是由清華大學KVCache.AI團隊與趨境科技聯合開發的開源大模型推理加速框架，通過動態分層計算、智慧型顯存管理、零拷貝數據傳輸等技術，實現在24GB顯存單卡GPU上運行千億級參數大模型。該框架採用CPU-GPU異構架構與量化技術，支持長上下文序列處理，在單卡設備上完成DeepSeek-R1等模型的本地化部署。

2025年2月15日，該框架實現在24GB顯存設備上支持4-8K上下文長度，推理速度提升至每秒16個Tokens。次月基於曦雲C500單卡GPU達成DeepSeek-R1-671B模型16.5 tokens/s的解碼吞吐。5月在昇騰開發者大會上與鯤鵬聯合發布的AK+K方案使DeepSeek R1推理速度達到llama.cpp的4-6倍。同年7月相關論文被計算機系統頂會SOSP 2025收錄，10月框架架構與SGLang合併，GitHub Star數突破15.2K。

基本介紹

• 中文名：KTransformers
• 發布單位：清華大學 KVCache.AI 團隊、趨境科技

發展歷史

2025年2月10日，KTransformers 團隊成功在 24 GB 顯存 + 382 GB 記憶體的 PC 上實現本地運行 DeepSeek-R1、V3 的 671B 滿血版，速度提高 3~28 倍。

2025年2月15日， KTransformers 宣布支持更長的上下文（24GB 單卡支持 4~8K），並實現 15% 加速（每秒最多 16 個 Tokens）。

社會意義

KTransformers的開發，成功破解千億級大模型本地部署難題，突破標誌著大模型推理從“雲端壟斷”走向“普惠化”的重要一步。