Mooncake是Kimi與清華大學等機構合作推出的大模型推理系統，基於KVCache快取池和存算架構，旨在提高推理吞吐量並降低算力開銷。該系統於2024年6月發布設計方案，採用分離式架構，包含Prefill節點池、Decode節點池和分散式KVCache池。
2024年11月28日，Mooncake開源項目正式上線，推動推理架構創新，並獲得埃里克·里德爾最佳論文獎。其相關技術論文在2025年2月獲得第23屆USENIX檔案與存儲技術會議（FAST 2025）埃里克·里德爾最佳論文獎。在性能上，其吞吐量提升最高達525%，支持長文本和高並發處理，目前承載Kimi80%以上的流量。在實際部署中，Mooncake已在數千個節點上運行，每天處理超過1000億個token，使Kimi在NVIDIA A800和H800集群上分別比以前的系統多處理115%和107%的請求。開源後，Mooncake項目在GitHub上獲得超過3000個Star，並與SGLang、vLLM等主流推理框架實現合作和適配。Mooncake框架通過社區貢獻首次原生支持CXL記憶體介質。
基本介紹
- 外文名：Mooncake
- 發布方：Kimi與清華大學
研發背景,發展歷程,核心技術,運營模式,核心團隊,重要事件,
研發背景
Mooncake的開發始於去年9月，旨在解決大模型推理服務面臨的高並發請求處理和長文本輸入帶來的挑戰。
該項目由月之暗面（Kimi）與清華大學MADSys實驗室聯合9#AISoft、阿里雲、華為存儲、面壁智慧型、趨境科技等產學研機構合作研發。其核心設計思路是以鍵值快取（KVCache）為中心，採用預填充與解碼（Prefill-Decode, PD）分離的計算存儲解耦架構，通過構建獨立的KVCache快取池來最佳化資源利用和系統吞吐。
發展歷程
Mooncake的開發始於2023年9月，旨在解決大模型推理中的高並發和長文本處理問題。2024年6月至7月，月之暗面與清華大學聯合發布了Mooncake技術報告，首次公開了其以KVCache為中心的分離式架構設計。2024年11月28日，Mooncake開源項目正式上線，由月之暗面、清華大學聯合阿里雲、華為存儲、面壁智慧型、趨境科技等多家產學研機構共同發起。2025年2月，其技術報告《Mooncake: Trading More Storage for Less Computation — A KVCache-centric Architecture for Serving LLM Chatbot》在計算機存儲領域頂會FAST 2025上榮獲最佳論文獎。至2025年5月至6月，項目基本完成與SGLang、vLLM等上層推理框架的對接，推動了開源生態建設。2026年3月，元腦KOS團隊向社區貢獻代碼，實現了CXL單級存儲基礎功能，使Mooncake框架首次原生支持CXL記憶體介質，為AI智算基礎設施開闢了新路徑。
核心技術
Mooncake的核心技術是採用以鍵值快取（KVCache）為中心的分離式架構，通過存儲與計算解耦，最佳化大模型推理的吞吐量和延遲。其核心架構主要由全局調度器（Conductor）、Prefill節點集群、Decode節點集群、分散式KVCache池以及RDMA通信組件（Messenger）構成。
系統採用啟發式自動熱點遷移策略最佳化快取訪問，並實施基於預測的早期拒絕策略以保障系統穩定性。其底層傳輸引擎（Transfer Engine）支持TCP、RDMA、基於NVIDIA GPUDirect的RDMA及NVMe over Fabric（NVMe-of）協定，實現高性能數據傳輸。分散式KVCache池充分利用集群中空閒的CPU、DRAM和SSD資源，構建大容量、高頻寬的快取存儲。Mooncake支持與SGLang、vLLM等主流推理框架集成，實現預填充與解碼（PD）分離。此外，通過開源社區演進，Mooncake已原生支持CXL（Compute Express Link）記憶體介質，為長上下文推理提供了新的記憶體擴展方案。
運營模式
Mooncake項目採用開源共建模式，由月之暗面Kimi和清華大學MADSys實驗室牽頭，聯合阿里雲、華為存儲、面壁智慧型、趨境科技等多方機構共同推進。項目採用分階段開源方式，首先開源了傳輸引擎(Transfer Engine)。
Mooncake在GitHub上擁有超過3000個Star，吸引了眾多開發者參與。Mooncake團隊與vLLM、SGLang、LMCache等社區團隊合作，制定了集成路線圖。
項目持續演進，已支持CXL記憶體介質，並規劃構建DRAM-CXL-SSD多級存儲體系。
核心團隊
Mooncake項目的核心團隊包括清華大學計算機系的教師章明星、武永衛、鄭緯民，其中章明星為清華大學副教授，是開源項目Mooncake的發起人之一；月之暗面公司的工程副總裁、AI Infra負責人許欣然；以及論文第一作者、清華大學博士生秦若愚。項目由月之暗面Kimi和清華大學MADSys實驗室聯合9#AISoft、阿里雲、華為存儲、面壁智慧型、趨境科技等產學研力量共同推動。
重要事件
2024年7月，月之暗面與清華大學聯合發布了以KVCache為中心的分離式推理架構Mooncake的技術報告。
2024年11月28日，月之暗面Kimi聯合清華大學MADSys實驗室，並協同9#AISoft、阿里雲、華為存儲、面壁智慧型、趨境科技等產學研力量，正式宣布開源共建大模型推理架構Mooncake，其首個開源組件傳輸引擎（Transfer Engine）於當日上線。
