SeedFold模型

SeedFold模型是位元組跳動Seed團隊提出的生物分子結構預測AI模型。該模型通過擴展Pairformer模組的寬度、引入線性三角注意力機制降低計算複雜度,並構建了2650萬樣本的大規模蒸餾數據集以提升性能。在FoldBench基準測試中,SeedFold在蛋白質單體、蛋白-蛋白複合物等多項任務上的性能超越了AlphaFold3。

發展歷程,核心技術,

發展歷程

位元組跳動Seed團隊推出了新一代摺疊模型SeedFold。
在基準測試集FoldBench的多個關鍵任務上,SeedFold取得了較好的測試結果。

核心技術

SeedFold的核心技術創新主要體現在模型、架構和數據三個層面。
在模型縮放方面,SeedFold主張並驗證了“加寬而非加深”的模型擴展路徑,通過增加Pairformer模組的寬度來提升模型容量,研究表明寬度擴展顯著優於深度擴展。模型容量的核心瓶頸在於配對表示維度而非網路深度,例如將Pairformer寬度擴至512維。
在架構創新方面,SeedFold引入了線性三角注意力機制,用以替代AlphaFold3中計算密集的三角注意力,將Pairformer中三角運算的計算複雜度從序列長度的立方級降低至平方級,在保持預測精度的同時顯著提升了計算效率。
在數據擴展方面,SeedFold構建了基於AlphaFold2的大規模知識蒸餾數據集,包含約2650萬個樣本,相比實驗數據規模擴大了147倍。
在性能評估方面,SeedFold及其高效變體SeedFold-Linear在FoldBench基準測試中,於蛋白單體結構預測、蛋白-蛋白複合物、抗體-抗原複合物、蛋白-小分子複合物等多項任務上均達到了最先進性能,超越了AlphaFold3。SeedFold與SeedFold-Linear在不同任務上表現出異構優勢,例如SeedFold在抗體-抗原任務中表現更優,而SeedFold-Linear在蛋白-配體任務中表現突出。
SeedFold揭示了摺疊模型同樣遵循規模定律,且寬度擴展比深度擴展更為關鍵,為未來生物分子基礎模型的構建提供了重要參考。

相關詞條

熱門詞條

聯絡我們