基本介紹
- 中文名：稀疏激活
- 外文名：Sparse Activation
基本含義,發展歷程,基本特徵,套用,核心最佳化技術,行業套用與案例,相關研究,
基本含義
稀疏激活（Sparse Activation）是指神經網路在應對特定任務或數據樣本時，僅有一部分神經元或參數被激活，大部分輸出為零值的技術。其核心思想是通過特定激活函式（如ReLU變體）、結構化稀疏訓練或動態路由等技術手段，使模型在訓練和推理過程中僅激活部分關鍵參數，而非全部。
與傳統的密集激活模型（所有參數都會被激活）相比，稀疏激活模型能夠在提升模型容量的同時，降低算力成本。因此，稀疏激活模型能夠在保持或提升模型容量的同時，顯著降低訓練和推理所需的計算成本與記憶體消耗。
通過選擇性激活，稀疏激活機制促使模型更關注輸入數據的關鍵特徵，有助於提升模型的泛化能力。稀疏激活有助於模型專注於關鍵特徵，提升多任務能力和泛化能力，避免災難性遺忘等問題。
發展歷程
稀疏激活技術起源於谷歌在2017年提出的稀疏門控專家混合層（Sparsely-Gated Mixture-of-Experts Layer， MoE），該技術旨在增加模型容量而不成比例增加計算量，其核心是使用門控網路為輸入選擇特定的專家模組。
Switch Transformer對MoE架構進行了重要改進，如簡化路由、引入容量因子等，解決了訓練穩定性等問題，並將模型規模推至萬億參數級別。此後，多種基於稀疏激活技術的大模型湧現，例如悟道2.0（1.75萬億參數）、GLaM（1.2萬億參數）、Gopher、PaLM等。
2025年穀歌研究揭示了Transformer中普遍存在的“懶惰神經元”（Lazy Neuron）現象，即訓練好的模型中僅有極少數神經元（%）在推理時被有效激活。2026年2月，美團LongCat團隊發布的LongCat-Flash-Lite模型通過“嵌入擴展”等技術，在685億總參數下每次推理僅激活29-45億參數，實現了高性能與低算力消耗的結合。
基本特徵
稀疏激活（Sparse Activation）是指一種模型設計與最佳化範式，其核心特徵是模型在訓練或推理過程中，並非激活全部參數，而是輸入數據的特性，動態、選擇性地激活部分計算單元（如神經元、專家模組或參數子集）。
稀疏激活架構通過動態選擇計算單元，實現了參數規模與計算成本的解耦。例如，有模型總參數量達685億，但每次推理僅需激活29-45億參數，在部分任務中表現接近參數量更大的模型。
稀疏激活通常基於參數稀疏化、動態稀疏性等策略實現。此外，有研究提出的Q-Sparse技術，通過Top-K稀疏化函式在神經元級別實現激活的完全稀疏性，僅激活約60%的參數即可實現與全激活稠密模型相當的性能，並可與量化技術結合以提升效率。
套用
稀疏激活架構憑藉“動態選擇計算單元”的創新思路，實現了“大參數規模”與“小計算成本”的解耦。稀疏激活的本質是讓模型在保留萬億級參數潛力的同時，每次推理僅激活10%～20%的核心模組。稀疏激活模型的優勢在於能夠極大降低模型的算力成本，並且在應對不同的任務時激活不同的部分，因此具有多任務能力。
核心最佳化技術
混合專家模型是稀疏激活的主流形態，其核心邏輯類似“專業分工”，將模型拆解為多個獨立專家網路，通過門控網路為不同輸入匹配專屬專家。稀疏激活技術起源於谷歌2017年提出的稀疏門控專家混合層技術，在Switch Transformer上得到了改進並發揚光大。
微軟亞洲研究院提出的Q-Sparse技術在神經元級別上實現了模型的完全稀疏激活。Q-Sparse對輸入的張量套用Top-K稀疏化函式，並使用平方ReLU激活函式代替常規的ReLU激活函式以進一步提高稀疏性。只需激活60%的參數，Q-Sparse就能實現與全激活稠密模型相當的性能。該技術適用於從頭訓練、繼續訓練和微調任務。Q-Sparse可以無縫集成到量化模型中，例如BitNet b1.58，而不會顯著影響模型的訓練和收斂，從而進一步提高大語言模型在推理階段的效率。稀疏激活模型的性能遵循冪律縮放關係，對於全精度模型，推理最優的稀疏率約為45.58%，而低精度模型的最優稀疏率則更高，約為61.25%。
在動態結構最佳化方面，研究者為Transformer不同層分配差異化稀疏率。硬體協同最佳化包括豆包團隊的UltraMem架構和華為盤古Ultra MoE採用的混合精度存儲。學術界對稀疏激活現象的基礎研究包括谷歌揭示的“懶惰神經元”現象以及《Spark Transformer》研究的“稀疏激活預測機制”。
行業套用與案例
在網際網路與開源模型領域，小紅書開源的dots.llm1總參數達1420億，實際參與計算的僅140億，推理速度較同性能稠密模型提升2～6倍。Mixtral 8x7B以560億總參數為基礎，每層僅激活2個專家模組。美團LongCat-Flash-Lite模型總參數685億，每次推理只需要激活29-45億參數。
在智慧型駕駛領域，AliceSkyGardenT3架構用三元參數結合稀疏激活，能耗降低60%的同時滿足實時回響。在移動端，通過TEAL項目的無訓練稀疏方案，讓Llama-3 70B推理速度提升1.8倍，記憶體占用減少40%。在數據中心與雲服務中，稀疏模型憑藉40-60%的計算量縮減，讓千億參數模型可在單張A100 GPU上推理，大幅降低雲服務成本。華為盤古Ultra MoE在昇騰集群上實現41%的浮點利用率，推理吞吐達35K tokens/s。
在多模態與長序列任務中，MoE架構能為圖像、文本動態分配專家，準確率較稠密模型提升15%。在長序列處理上，dots.llm1支持32K上下文，代碼生成、文檔摘要效率快3倍。
稀疏激活仍面臨挑戰，門控網路錯誤路由可能導致性能波動，現有GPU對動態稀疏計算的原生支持不足，MoE訓練的負載均衡與通信同步問題也會延長收斂時間。隨著下一代硬體對稀疏計算的原生最佳化，預計2026年將實現千億參數模型的單機實時推理。
相關研究
稀疏激活作為提升AI模型效率的關鍵技術，其研究從概念提出到成為解決大模型算力瓶頸的主流技術路徑，經歷了持續發展。稀疏激活技術起源於谷歌2017年提出的稀疏門控專家混合層技術，目前已在多種大模型上得到套用。
谷歌的研究揭示了Transformer模型中廣泛存在的內在激活稀疏性現象，即“懶惰神經元”，在訓練完畢的模型中，每個輸入樣本通常只會有極少數神經元（%）在推理中被有效激活。這種內在的激活稀疏性意味著模型計算中存在大量浪費，為後續的稀疏激活最佳化技術提供了理論基礎。
稀疏激活模型的性能遵循一個冪律縮放關係，給定稀疏率S，模型在收斂時的損失函式值L(N,S)可以用公式L(N,S) = E + A(S) / N^α近似，其中N是模型參數數量，E是常數，A(S)是與稀疏率S有關的縮放因子。縮放因子A(S)可以用公式A(S) = B * exp(-C * S^β)近似，表明更高的稀疏率會導致性能呈指數級下降。基於該定律推導出的推理最優稀疏率，對於全精度（FP32）模型約為45.58%，而低精度（如1.58-bit）模型的最優稀疏率則更高，約為61.25%。理論極限表明，當模型規模N趨於無窮大時，稀疏激活模型與密集模型的性能差距趨於零（L(∞,S)=E）。
在技術實踐方面，微軟亞洲研究院提出的Q-Sparse技術通過Top-K函式在神經元級別實現完全稀疏激活。實驗表明，在Llama、Mistral等模型上僅激活60%的參數即可達到與密集模型相當的性能，並且Q-Sparse與量化技術（BitNet）具有良好的兼容性。最新的模型案例包括美團LongCat-Flash-Lite，其總參數685億，每次推理激活29-45億參數；小紅書dots.llm1總參數達1420億，實際參與計算的僅140億參數；華為盤古Ultra MoE總參數為7180億。其他最佳化方向包括動態聚類框架解決專家負載不均、UltraMem等架構最佳化顯存分配以及混合精度存儲等技術點。
稀疏激活技術當前仍面臨挑戰，包括門控網路錯誤路由導致性能波動、GPU對動態稀疏計算原生支持不足、MoE訓練負載均衡與通信同步問題。未來技術方向包括開發更智慧型的“上下文感知”與“硬體感知”路由機制、探索專家模組的可學習結構（如引入CNN、Transformer）、推動動態稀疏運算元的標準化（如ONNX-MLIR）以改善跨框架部署、以及下一代硬體對稀疏計算的原生最佳化趨勢。
