LFM2.5-1.2B-Thinking

LFM2.5-1.2B-Thinking是由Liquid AI推出的開源推理模型，基於液態神經網路架構開發，專為端側設備最佳化設計，手機端運行時需約900MB記憶體。該模型擁有12億參數，在MATH-500基準測試中獲得88分，其參數量比Qwen3-1.7B模型少40%。與同系列LFM2.5-1.2B-Instruct相比，其在數學推理、指令遵循和工具使用能力上有所提升。該模型在手機端運行時，記憶體占用可低於800MB，回響延遲平均約1.8秒。

LFM2.5-1.2B-Thinking的架構核心包括連續時間模型、動態系統組合和可變時間常數。模型採用分層強化學習策略訓練，通過n-gram重複懲罰技術將死循環生成比例從15.74%降至0.36%，並採用了課程強化學習框架與多Checkpoint合併策略。在執行任務時會先生成內部思考軌跡，支持在低延遲條件下進行系統性問題求解。在移動NPU上，其token生成速度可達每秒82個，記憶體頻寬利用率提升3.2倍，KV Cache可壓縮至原尺寸的38%。該模型支持完全離線運行，兼容llama.cpp、MLX、vLLM等主流推理框架，支持CPU與GPU加速，可適配Apple、AMD、Qualcomm及Nvidia硬體平台。

基本介紹

• 外文名：LFM2.5-1.2B-Thinking
• 架構：液態神經網路架構 

技術特點

LFM2.5-1.2B-Thinking基於液態神經網路架構開發，其核心包括連續時間模型、動態系統組合和可變時間常數，這與傳統Transformer架構的全局注意力計算、固定計算圖和離散時間步存在根本差異。

該模型採用分層強化學習策略訓練，通過n-gram重複懲罰技術將死循環生成比例從15.74%降至0.36%。預訓練數據量從10T token擴展至28T，特別加強了邏輯、數學、多步指令類語料的占比。

LFM2.5-1.2B-Thinking專為複雜推理設計，在生成最終答案前會先生成內部思考軌跡（思考鏈）。

模型針對端側設備進行了深度最佳化，記憶體占用極低（約900MB），在移動NPU上實現了高效的推理速度（可達82 tok/s）。

性能表現

LFM2.5-1.2B-Thinking作為一款專為端側部署最佳化的輕量級推理模型，在參數效率、基準測試成績及推理速度方面表現突出，其性能在同等規模模型中處於領先水平，並能在手機等移動設備上穩定運行。

基本參數與部署要求

該模型參數量為12億（1.2B），經過量化後模型檔案體積小，例如Q4_K_M量化版本約731MB。運行記憶體占用約900MB，可在手機等端側設備離線運行。

基準測試成績

在數學推理方面，該模型在MATH-500基準測試中得分從63.20提升至87.96（或88分），在GSM8K上得分從64.52提升至85.60，在AIME25上得分從14.00提升至31.73。在指令遵循方面，其在Multi-IF測試中得分從61提升至69。在工具使用方面，其在BFCLv3測試中得分從49提升至57。在多數推理基準測試中，其性能達到甚至超過參數量多40%的Qwen3-1.7B模型。在GPQA Diamond等通用推理測試上，其表現略遜於其Instruct版本。

推理速度與效率

該模型推理速度高效，在AMD CPU上解碼速度達每秒239個字元（tok/s），在移動NPU上解碼速度達每秒82個字元（tok/s）。

實測性能數據

在iPhone 14 Pro上實測峰值記憶體782MB，運行中穩定在620–680MB；在Redmi Note 11上實測峰值記憶體845MB，運行穩定在690–750MB。連續運行30分鐘，iPhone 14 Pro機身溫度上升+3.2℃，電量消耗-8%；Redmi Note 11機身溫度上升+4.7℃，電量消耗-11%。

部署與套用

LFM2.5-1.2B-Thinking模型設計目標之一是實現高效的端側部署，其記憶體占用相對較少，並支持在多種框架和硬體環境下運行。

兼容性與部署方式

該模型兼容llama.cpp、MLX、vLLM和ONNX Runtime等主流推理框架，支持CPU和GPU加速，可適配包括Apple、AMD、Qualcomm和Nvidia在內的多種硬體平台。模型提供多種部署格式，包括支持量化策略的GGUF格式、Ollama原生支持的Safetensors+Quantized混合格式，以及為Android平台提供的封裝版本。模型提供的REST API兼容Ollama標準協定；同時，官方預置了包含“技術文檔解讀”、“會議紀要提煉”、“代碼注釋生成”等場景的提示詞模板庫。

性能與最佳化

根據實測，在主流推理框架中，vLLM在延遲、吞吐量和並發處理成功率上表現較好；而Ollama在啟動速度和CPU利用率上具有優勢。在處理長文本時，vLLM的性能衰減相對較慢。在NPU上啟用“動態KV快取”可降低記憶體峰值和首字延遲；也可採用NPU與CPU協同計算的混合部署策略以提升效率。

適用場景與限制

該模型適用於一線業務人員、學生、隱私敏感型用戶及邊緣設備開發者；可用於數學問題求解、工具調用、編程、指令遵循等任務。該模型暫不適用於需要超高精度的專業計算、長文檔深度分析及多模態任務。

模型對比

LFM2.5-1.2B-Thinking在多項性能指標上與其他主流模型進行了對比。在大多數推理基準測試中，LFM2.5-1.2B-Thinking 的表現達到了與 Qwen3-1.7B 相近或更高的水平，其參數量比後者少約 40%。在推理速度和記憶體效率方面，與該純 Transformer 模型及 Granite-4.0-H-1B 等混合架構模型相比，LFM2.5-1.2B-Thinking 表現更好。在與 Phi-3-mini、Gemma-2B 等同規模模型的實測對比中，LFM2.5-1.2B-Thinking 在術語精準調用、案例事實核查、價值立場遞進等複雜推理任務中表現較好。其液態神經網路架構在參數效率方面有所提升，有助於端側AI部署。