基本介紹
- 外文名：ESM3
研發背景,發展歷程,核心技術,運營模式,核心團隊,重要事件,
研發背景
ESM3由人工智慧初創公司Evolutionary Scale研發，旨在幫助科學家理解、構思和創造蛋白質。ESM3是第三代ESM模型，專注於可控蛋白質生成。其創始團隊主要來自Meta的FAIR實驗室，是將AI套用於生物學的先驅。相較於專攻蛋白質結構預測的AlphaFold等工具，ESM3是一個多模態、生成式的AI模型，能夠同時對蛋白質的序列、三維結構和功能進行聯合推理與生成。
發展歷程
EvolutionaryScale公司成立於2023年7月。2024年6月25日，EvolutionaryScale公司正式發布其第三代多模態生成語言模型ESM3，並宣布完成1.42億美元種子輪融資，本輪融資由Nat Friedman、Daniel Gross和Lux Capital領投，亞馬遜、NVentures（英偉達的風險投資部門）等機構跟投。
此後，公司陸續發布了不同參數規模的ESM3模型版本，包括於2024年3月發布的esm3-large-2024-03（980億參數）、於2024年8月發布的esm3-medium-2024-08（70億參數）和esm3-small-2024-08（14億參數）。2025年1月16日，基於ESM3模型的重要研究成果以《Simulating 500 million years of evolution with a language model》為題，正式發表於國際頂級學術期刊《Science》。
核心技術
ESM3是一種多模態生成式語言模型，能夠對蛋白質的序列、結構和功能進行統一推理和生成。ESM3採用“多軌道Transformer”架構，將序列、結構、功能信息編碼為不同“軌道”並在統一的特徵空間中進行融合處理。
ESM3基於“生成掩碼語言模型”目標，對序列、結構、功能三種模態的信息進行隨機掩碼並預測，訓練中採用了可變的掩碼調度策略。ESM3的訓練數據涵蓋27.8億天然蛋白質序列，通過合成數據增強到31.5億個序列，同時包含2.36億個蛋白質結構和5.39億個功能注釋。模型共有14億、70億、980億參數三種規模，性能隨規模顯著提升。
ESM3將蛋白質的三維結構通過離散自動編碼器離散化為token，使其能夠與序列、功能信息一同作為模型的輸入進行處理，實現原子級別的精確重建。ESM3採用了類似人類反饋強化學習的對齊方法進行自我改進，以提升複雜任務解決能力。
運營模式
EvolutionaryScale公司對ESM3模型採用雙軌運營策略，一方面向學術研究人員免費開放ESM3基礎版本（ESM3-open）的代碼和權重，供非商業用途使用，另一方面為製藥公司等商業機構提供完整的ESM3系列模型用於藥物研發等商業套用。ESM3模型通過指定合作夥伴的平台提供服務，包括Amazon Bedrock、Amazon SageMaker、AWS HealthOMICs以及以NVIDIA NIM微服務形式提供的NVIDIA BioNeMo。此外，EvolutionaryScale公司定位為一家公共利益公司（Public Benefit Company），承諾在模型公開部署前進行嚴格的風險評估，並設定風險緩解策略和預防性防護措施。
核心團隊
團隊領軍人物Alexander Rives是前Meta首席科學家，他領銜創立了EvolutionaryScale並擔任首席科學家。
另一位關鍵成員Tom Sercu是EvolutionaryScale的聯合創始人兼工程副總裁。
該團隊是將AI套用於生物學的先驅，曾於2019年構建了ESM1——被廣泛認為是第一個用於蛋白質的大型語言模型，並使用ESM-2模型創建了包含6億個預測蛋白質結構的資料庫。
重要事件
2025年1月16日，研究團隊在《Science》雜誌上發表了題為“Simulating 500 million years of evolution with a language model”的論文，正式公布了ESM3模型。該論文展示了如何利用語言模型來生成和推理蛋白質序列、結構和功能，並提出了一個名為ESM3的多模態生成式模型。
ESM3模型在接收到結合序列、結構和功能信息的複雜提示後，採用“思維鏈”策略成功設計出一種全新的綠色螢光蛋白esmGFP。esmGFP與自然界已知最接近的螢光蛋白（tagRFP）序列相似度僅58%，存在96個胺基酸位點的差異，但其螢光強度與天然GFP相當。
通過時間校準的系統發育分析估算，esmGFP與天然蛋白的差異相當於超過5億年的自然進化距離。這一成果證明了ESM3模型能夠模擬超長程進化，生成位於自然進化空間之外的功能性蛋白質。
