Foundation團隊

Foundation團隊隸屬於位元組跳動公司，專注於人工智慧大模型領域的技術研發。2025年2月，該團隊提出了一種名為UltraMem的稀疏模型架構，有效解決了混合專家模型（MoE）推理過程中的高額訪存問題。這一架構在保證模型效果的同時，將推理速度提升至原有水平的2-6倍，並最高降低83%的推理成本。

基本介紹

• 所屬公司：位元組跳動
• 研究領域：AI大模型架構
• 核心技術：稀疏模型架構
• 最新成果：UltraMem架構（截至2025年2月）

技術成果

UltraMem架構

2025年2月，Foundation團隊提出一種同樣將計算和參數解耦的稀疏模型架構UltraMem，在保證模型效果的前提下解決了推理的訪存問題。這一技術主要針對混合專家模型（MoE）推理時的高訪存成本問題，實現了以下效果：

• 推理速度較原有MoE架構提升2-6倍；
• 推理成本最高降低83%，同時保持模型性能不受顯著影響。

套用前景

UltraMem架構的提出為大規模AI模型的實際部署提供了新的解決方案，尤其在降低推理成本和提高執行效率方面展現出顯著優勢。這一技術有望推動AI模型在資源受限環境中的套用普及。