SME2技術

SME2技術，全稱第二代可伸縮矩陣擴展（Scalable Matrix Extension 2），是Arm公司基於Armv9架構推出的一套CPU指令集擴展，旨在通過CPU處理AI與高性能計算工作負載。該技術作為第一代SME的升級，通過新增指令集、支持2/4比特等更小數據類型，提升了矩陣運算的效能。其特點在於，開發者可通過Arm KleidiAI軟體層獲得加速，實現AI性能提升，並最佳化語音、圖像處理等實時任務的延遲與能效。SME2已集成於Arm Lumex計算平台，並被vivo、支付寶、谷歌等廠商採用。

基本介紹

• 中文名：SME2技術
• 別名：SME2

技術定義

第二代可伸縮矩陣擴展（Scalable Matrix Extension 2，簡稱SME2）是Armv9架構中的一組高級CPU指令集擴展（ISA擴展）。其核心設計目標旨在直接在移動CPU上加速對計算機視覺和生成式AI套用至關重要的高強度矩陣計算工作負載，以實現實時的移動端AI推理。該技術基於第一代可伸縮矩陣擴展（SME）升級而來。

發展歷程

第一代可伸縮矩陣擴展（SME）最初作為可選擴展出現在Armv9架構中，專為加速矩陣數學運算設計。SME2於2022年底出現。

2025年7月10日，Arm通過官方博文推出SME2技術，該技術旨在加速AI工作負載。SME2被設計為具有較高可擴展性，能夠部署在筆記本電腦、平板電腦以及高端智慧型手機上。

2025年9月10日，Arm在Arm Unlocked 2025技術峰會上發布集成SME2技術的Lumex計運算元系統（CSS）平台。該平台集成了搭載SME2技術的Arm CPU、GPU及系統IP。

Arm計畫將SME2技術擴展至其CPU平台。

技術特點

第二代可伸縮矩陣擴展（SME2）是Armv9架構中的一組高級CPU指令集擴展，旨在加速對計算機視覺和生成式AI套用至關重要的矩陣密集型工作負載，以實現圖像處理、自然語言處理和語音生成等實時移動端推理任務。SME2技術整合了寬位SIMD與矩陣乘法運算能力，並依託第二代可伸縮向量擴展（SVE2）和SME ISA特性實現，將高吞吐量的AI與計算機視覺加速能力直接融入CPU管線。

SME2在SME的基礎上，通過加入multi-vector（多向量）支持更好地平衡向量計算和矩陣乘計算加速，提高向量處理能力和矩陣乘運算邏輯的重用性。SME2引入了支持multi-vector運算元和multi-vector predication的數據處理指令。

SME2支持更小的數據類型，包括2-bit和4-bit，以適配高度量化模型的需求。SME2加入了壓縮機器學習的數據格式的支持，通過支持查找表指令，可以快速地將壓縮的2b或4b的權重轉換為INT8, BF16, FP16或FP32格式。SME2引入了LUTI2、LUTI4指令用於查表檢索。

SME2技術整合了寬位SIMD與矩陣乘法運算能力，並依託第二代可伸縮向量擴展（SVE2）和SME ISA特性實現，將AI加速能力深度集成到CPU中。

得益於Arm KleidiAI軟體加速層與主流AI框架的深度集成，開發者無需修改現有代碼、模型或應用程式，即可自動獲取SME2的硬體加速能力。KleidiAI已集成至包括PyTorch ExecuTorch、Google LiteRT、阿里巴巴MNN及微軟ONNX Runtime在內的多個主流框架中，為開發者提供開箱即用的性能體驗。

性能表現

在搭載SME2的Arm C1 CPU集群上，AI性能最高可提升5倍，能效最佳化達3倍。SME2技術在不同AI任務類型下展現出具體性能提升，例如語音類工作負載（如Whisper Base模型）延遲降低4.7倍，音頻生成（如Stability AI Stable Audio模型）速度提升2.8倍。在大語言模型推理方面，Google Gemma 3模型在聊天互動中的回響速度提升最高達6倍，其文本摘要任務可在單核上1秒內啟動。在視覺處理領域，在搭載SME2的單個核心上可實現1080P@120fps或4K@30fps的神經攝像頭降噪實時處理。

這些性能提升在實際套用中得到體現，例如智慧型瑜伽教練套用的文本轉語音性能提升2.4倍。通過與支付寶、vivo的三方合作，基於SME2技術的大語言模型互動回響時間縮短了多達40%。

套用場景

SME2（第二代可伸縮矩陣擴展）是Armv9架構中的一組高級CPU指令集擴展，專為加速移動設備上的矩陣計算密集型AI工作負載而設計。該技術通過將AI加速能力直接集成到CPU中，使得從高端到中端的各類移動設備能更高效地運行對實時性要求較高的AI套用。

計算攝影與影像增強

SME2技術能夠實現神經相機降噪、電影模式（景深效果）、暗光增強等高級影像功能。在搭載SME2的單顆CPU核心上運行神經相機降噪功能，可以在1080P解析度下實現幀率超120幀/秒（fps），或在4K解析度下實現幀率達30fps的視頻流實時處理。這使得智慧型手機在光線較暗的場景下，也能捕捉到更清晰的圖像。

實時互動與生成式AI套用

SME2技術提升了如“智慧型瑜伽教練”等實時互動套用的回響速度，其文本轉語音（TTS）生成速度有所提升。該技術也賦能端側大語言模型（LLM）推理，例如在相關驗證中，LLM推理的預填充（prefill）與解碼（decode）階段性能得到提升。這支持了在用戶授權前提下，由本地相冊內容生成旅行視頻等服務。

廣泛設備兼容與生態支持

SME2技術具有高度可擴展性，其AI功能可套用於高端及中端設備，有助於AI技術在更廣泛設備上的套用。該技術已獲得阿里巴巴、支付寶、Google、三星、騰訊、vivo等業界生態夥伴的採用。通過Arm KleidiAI軟體庫與主流AI框架（如PyTorch ExecuTorch, ONNX Runtime等）深度集成，開發者無需修改代碼即可獲得加速。

生態與支持

Arm通過KleidiAI軟體加速層降低開發者使用門檻，使開發者無需修改現有代碼、模型或套用即可自動獲得SME2加速能力。

已深度集成KleidiAI並支持SME2的主流AI框架和運行時庫包括Google XNNPACK、PyTorch ExecuTorch、Google LiteRT、阿里巴巴MNN、微軟ONNX Runtime以及llama.cpp等。

SME2已獲得阿里巴巴、支付寶、三星、騰訊、vivo、OPPO、Google、Meta等業界生態夥伴的採用與支持。Gmail、YouTube和Google Photos等谷歌套用現已全面支持SME2。vivo計算加速平台VCAP已全面支持SME2指令集。支付寶在vivo新一代旗艦智慧型手機上完成了基於Arm SME2技術的大語言模型推理驗證，其預填充與解碼階段性能分別有超過40%和25%的提升。

SME2為Arm生態系統提供了可移植的解決方案，已有大量套用和開發者基於Arm平台。Arm發布了開發者啟動平台以幫助開發者利用SME2優勢。

市場影響與展望

Arm計畫將SME2技術擴展至多個CPU平台。有預測認為，到2030年，SME與SME2技術將為超過30億台設備新增超100億TOPS的計算能力，推動端側AI性能提升。SME2的設計具有可擴展性，可從伺服器和工作站擴展至筆記本電腦、平板電腦及智慧型手機，這意味著其相關的AI功能可套用於不同價位段的設備。SME2技術有助於更先進的AI模型在各類設備上本地運行，有助於實現低延遲的智慧型手機體驗。該技術被視為改變端側AI體驗、為移動SoC內部異構計算帶來新靈活性的關鍵技術，它使CPU在承擔通用計算與控制任務的同時，也能處理AI負載。