Step 3

Step 3是階躍星辰於2025年7月31日開源的基礎大模型。它採用混合專家模型（MoE）架構，總參數量達3210億，激活參數量為380億，定位為原生多模態推理模型。該模型具備跨領域知識理解與視覺推理功能，在MMMU、MathVision等多項基準測試中，於開源多模態模型中表現較好。通過MFA注意力機制與AFD分散式推理系統等設計，Step 3在國產晶片上的推理效率有所提升，並已適配華為昇騰、沐曦等多種硬體。階躍星辰聯合近十家晶片廠商組建了“模芯生態創新聯盟”，該模型的部分技術已套用於智慧型座艙、手機AI伴聊等場景。

基本介紹

• 中文名：Step 3
• 發行公司：階躍星辰
• 上市時間：2025年7月31日

簡介

Step 3是階躍星辰於2025年7月25日在世界人工智慧大會(WAIC)期間發布，並於2025年7月31日正式開源的新一代基礎大模型。Step 3是階躍星辰首個全尺寸、原生多模態推理模型，在模型效果與推理成本之間取得平衡，是其在模型架構與工程上的一次探索。該模型為開源多模態推理模型，具備多模態能力，在多項基準測試中表現良好，在運行效率方面具有特點。Step 3採用混合專家(MoE)架構，總參數量為321B，激活參數量為38B。

Step 3擁有視覺感知和複雜推理能力，可處理跨領域的複雜知識理解、數學與視覺信息的交叉分析，以及日常生活中的各類視覺分析問題。

技術規格

Step 3是階躍星辰於2025年7月31日開源的新一代基礎大模型，採用混合專家模型（MoE）架構，總參數量321B，激活參數量38B。該模型包含48個專家網路，每個Token動態激活3個專家。其架構包含獨立的視覺編碼器（5B參數）和語言模型（316B參數）。

Step 3採用了自研的多矩陣因子分解注意力機制（MFA， Multi-Matrix Factorization Attention）。在系統層面，模型採用了注意力-前饋網路解耦（AFD， Attention-FFN Disaggregation）分散式推理系統。模型支持FP8全量化，相比BF16格式可將記憶體占用降低約50%。

核心技術

Step 3的核心技術突破在於模型層與系統層的協同創新，旨在顯著降低推理解碼成本並提升效率。具體包括模型層的MFA注意力機制、系統層的AFD分散式推理架構、配套的StepMesh通信庫以及FP8量化技術。

模型層創新：MFA注意力機制

MFA在Query-Key路徑上進行低秩分解，並讓多個查詢頭共享同一組Key/Value表示，從而從根源上壓縮KV快取大小和計算量。MFA通過將算力-頻寬比調整至略低於主流GPU的屋脊線，使得同一套權重在高頻寬卡和算力卡上都能維持高利用率，實現了硬體感知設計。

系統層創新：AFD分散式推理系統

AFD將傳統上由同一組GPU同時處理的注意力計算和前饋網路計算任務解耦，拆分到各自最擅長的GPU群組。通過專門設計的三階段流水線，將隱藏態在兩端之間傳輸，從而將通信延遲掩藏在計算之下，實現小規模集群下的高解碼吞吐。

配套工具：StepMesh通信庫

為支撐AFD架構所需的細粒度、低延遲數據傳輸，階躍星辰研發了StepMesh通信庫。該庫基於GPUDirect RDMA實現，SM占用為0，可在子毫秒時間內完成雙向流式傳輸，並已隨模型一同開源，提供可跨硬體的標準部署接口。

量化與部署

Step 3支持FP8全量化，相比BF16格式可將模型記憶體占用降低約50%。部署的最小硬體單元為8×H20 GPU集群。Step 3支持多種並行策略，包括Tensor Parallelism (TP) 和 Data Parallelism + Tensor Parallelism (DP+TP) 混合策略，以最佳化記憶體使用和計算效率。

硬體感知與生態適配

Step 3在設計之初便考慮了硬體適配性，其架構優先貼近國產晶片的計算特性，避免了嚴重的計算或顯存瓶頸。目前，華為昇騰晶片已首先實現Step 3的搭載和運行；沐曦、天數智芯和燧原等也已初步實現運行。

晶片適配與生態

Step 3在設計階段考慮了國產晶片的適配。階躍星辰團隊在模型架構設計時，考量了國產晶片的計算特性，通過最佳化訪存比以在運行過程中避免嚴重的計算或顯存瓶頸。Step 3已在國內多家晶片平台上進行適配。

根據公開信息，華為昇騰晶片已實現Step 3的搭載和運行。沐曦、天數智芯和燧原科技等國產晶片廠商也已初步實現運行Step 3。

階躍星辰聯合華為昇騰、沐曦、壁仞科技、燧原科技、天數智芯、無問芯穹、寒武紀、摩爾執行緒、矽基流動等近10家國內晶片及基礎設施廠商，共同發起成立了“模芯生態創新聯盟”。該聯盟旨在打通晶片、模型和平台全鏈路技術，通過底層聯合創新提供大模型解決方案。

套用場景

階躍星辰與一些企業存在合作，將其模型能力套用於多個領域，包括智慧型終端。

在智慧型汽車領域，階躍星辰與吉利汽車集團存在合作。吉利汽車套用了階躍星辰的端到端語音大模型。由階躍星辰、千里科技和吉利汽車集團合作的智慧型座艙系統，包含了階躍星辰的多模態大模型和端到端語音大模型。

在智慧型手機領域，OPPO、榮耀、中興等品牌的部分機型套用了階躍星辰的多模態能力，提供了AI對話、AI視頻通話輔助等功能。

除汽車與手機外，階躍星辰的業務也涉及智慧型終端、IoT設備、具身智慧型等領域。

發展歷史

2025年7月25日，階躍星辰在2025世界人工智慧大會（WAIC）開幕前夕正式發布新一代基礎大模型Step 3。這是階躍星辰首個全尺寸、原生多模態推理模型，並計畫於7月31日正式開源。

Step 3已授權國內多家晶片公司，並完成晶片適配。同時，Step 3將於2025年7月31日正式面向全球企業和開發者開源，已經通過開源技術報告，與全球開發者分享了降低推理成本背後的系統架構創新。

為提升大模型適配性和算力效率，階躍星辰聯合華為昇騰、沐曦、壁仞科技、燧原科技、天數智芯、無問芯穹、寒武紀、摩爾執行緒、矽基流動等近10家晶片及基礎設施廠商，共同發起“模芯生態創新聯盟”。

2025年7月31日，階躍星辰按計畫正式面向全球企業和開發者開源Step 3，已上線階躍星辰開放平台，並分享了降低推理成本背後的系統架構創新。

2026年1月20日，階躍星辰開源了基於Step 3技術的多模態模型Step3-VL-10B。

2026年2月3日，階躍星辰發布了開源基座模型Step 3.5 Flash。