赤兔(推理引擎)

赤兔（Chitu）是由清華大學高性能計算研究所翟季冬教授團隊與清華系科創企業清程極智聯合開發的開源大模型推理引擎。2025年3月14日首次開源，並於同年8月1日發布v0.4版本。該引擎定位於人工智慧推理框架，支持在非英偉達Hopper架構GPU及昇騰、沐曦等國產晶片上原生運行FP8精度模型。

赤兔通過底層運算元最佳化（如GeMM、MoE指令級重構）和編譯技術創新，首次實現在無FP8硬體單元的算力晶片上直接部署FP8模型，在昇騰910B單機推理時Qwen3-32B模型吞吐量達5000token/s。其部署DeepSeek-R1-671B滿血版大模型時，相比部分國外框架可實現GPU使用量減少50%且推理速度提升3.15倍。v0.4版本新增數據並行結合專家並行策略，代碼與鏡像已在魔樂社區等國內平台開源。

基本介紹

• 中文名：赤兔
• 產品類型：推理引擎

發展歷史

2025年8月1日，國產開源推理引擎“赤兔”正式發布v0.4版本。

主要功能

赤兔通過底層運算元最佳化（如GeMM、MoE的指令級重構）和編譯技術創新，首次實現在無FP8硬體單元的算力晶片上原生運行FP8高精度模型，賦能眾多存量算力晶片推理DeepSeek-R1滿血版大模型。