ESMFold

ESMFold是Meta AI研究團隊於2022年推出的蛋白質結構預測人工智慧模型，它基於蛋白質語言模型ESM-2，能夠直接從單一蛋白質序列預測其三維原子結構。ESMFold的預測速度極快，比AlphaFold2快約60倍，其在2022年利用該能力在兩周內預測了超過6.17億個宏基因組蛋白質的結構，但其預測準確度通常低於AlphaFold2。2023年春季，Meta公司進行大規模裁員，ESMFold團隊被解散。

基本介紹

• 外文名：ESMFold
• 屬性：人工智慧

研發背景

ESMFold是Meta AI研究團隊於2022年推出的基於單序列的蛋白質結構預測人工智慧模型。其核心創新在於不顯式使用多序列比對（MSA）作為特徵，而是通過一個大型掩碼語言模型（MLM）——ESM-2，從海量蛋白質序列數據中隱式學習並捕捉同源序列中的共進化信息，從而直接從單一胺基酸序列預測其三維結構。在技術路線上，ESMFold代表了與AlphaFold2等依賴顯式MSA搜尋的主流方案不同的方向。在性能上，ESMFold相比同樣基於單序列的AlphaFold2效果更好，但與顯式使用MSA的AlphaFold2相比仍有差距（例如在CAMEO和CASP數據集上的TM-score分別為82.8和67.8，而AlphaFold2為88.3和84.7）。此外，其設計顯著提升了預測速度，比AlphaFold2快一個數量級，這使得對超大規模蛋白質資料庫（如宏基因組數據）進行快速結構普查成為可能。

發展歷程

2022年7月，Meta AI研究團隊在預印本平台bioRxiv發布題為《Language models of protein sequences at the scale of evolution enable accurate structure prediction》的論文，正式推出ESMFold模型。該模型基於參數量達150億的蛋白質語言模型ESM-2，首次實現了僅從蛋白質單序列進行高精度、端到端的原子級結構預測，其推理速度比AlphaFold2快一個數量級。

2022年11月，Meta發布了基於ESMFold預測結果構建的ESM宏基因組圖譜（ESM Metagenomic Atlas），該圖譜包含超過6.17億個宏基因組蛋白質的結構預測。利用約2000個GPU的集群，完成全部預測僅耗時兩周。該圖譜是當時規模最大的高解析度蛋白質結構資料庫。

2023年，上述研究成果經過同行評議後，正式發表於國際頂級學術期刊《Science》。2023年春季，作為Meta公司大範圍裁員的一部分，ESMFold項目的核心研發團隊被解散。

2024年7月，原ESMFold團隊的核心成員獨立創業，發布了新一代的生命科學大模型ESM3。

核心技術

ESMFold的核心是一個基於Transformer架構的大型蛋白質語言模型ESM-2，其參數量高達150億，是迄今為止最大的蛋白質語言模型之一。該模型的原理借鑑了類似於ChatGPT的語言預測技術，通過訓練模型學習“自動補全”被掩碼的胺基酸序列，從而理解蛋白質序列與三維結構之間的關係。

ESMFold是一個端到端的單序列結構預測器，輸入僅為蛋白質的胺基酸序列，無需進行耗時的多序列比對（MSA）搜尋。其模型架構簡化了AlphaFold2中的EvoFormer模組，使用處理單一序列的Transformer模組取而代之，從而大幅提升推理速度。該模型能夠直接從序列預測蛋白質的三維原子坐標，並輸出置信度評分。

與AlphaFold2顯式使用多序列比對（MSA）不同，ESMFold不顯式使用MSA作為特徵，而是通過基於掩碼語言模型（MLM）的蛋白質預訓練模型隱式捕捉同源序列中的共進化信息。這使得它在處理缺乏同源序列信息的蛋白質（如從頭設計蛋白、元基因組蛋白、孤兒蛋白）時具有優勢。

在性能上，ESMFold在CAMEO數據集上的平均TM-score為0.83，在CASP14測試集上為0.68。在單張NVIDIA V100 GPU上，預測一個含有384個胺基酸的蛋白質約需14.2秒，比AlphaFold2快6倍；對於更短的序列，速度優勢可達60倍。

運營模式

ESMFold的模型代碼和預訓練權重已在GitHub上開源，供研究人員免費使用。其預測的超過6.17億個蛋白質結構組成的ESM宏基因組圖譜資料庫也向科學界開放訪問。儘管ESMFold研發團隊於2023年春季被解散，但相關服務和資料庫仍維持運行。

核心團隊

ESMFold項目由Meta公司旗下基礎人工智慧研究團隊（FAIR， Fundamental AI Research）的蛋白質團隊開發。項目負責人為Meta AI研究科學家、蛋白質團隊負責人Alexander Rives。核心研發團隊由大約十幾名科學家組成。然而，在2023年春季，作為Meta公司大範圍裁員的一部分，ESMFold團隊被解散。

重要事件

2022年7月，Meta AI團隊宣布推出ESMFold，並發布預印本論文《Language models of protein sequences at the scale of evolution enable accurate structure prediction》。2022年11月，Meta發布ESM宏基因組圖譜（ESM Metagenomic Atlas），這是一個包含6.17億個預測宏基因組蛋白質結構的開放資料庫，規模相當於當時AlphaFold資料庫的3倍左右。

2023年，ESMFold相關研究論文在《Science》期刊正式發表，論文標題為‘Evolutionary-scale prediction of atomic-level protein structure with a language model’。

2023年春季，作為Meta公司大規模裁員的一部分，ESMFold研發團隊被解散，引發學術界對其資料庫及服務長期維護的擔憂。

2024年，相關研究展示了ESMFold的持續套用價值，例如有科學家利用ESMFold和AlphaFold等模型為數百種黃病毒的蛋白質生成預測結構以重新繪製病毒譜系，ESMFold因其僅需單序列輸入的優點特別適用於分析缺乏同源序列信息的‘神秘’病毒。