scGPT

scGPT是由加拿大多倫多大學的研究人員與微軟聯合開發的一個單細胞生物學基礎模型，相關研究於2024年2月26日發表在《自然-方法學》雜誌上。該模型基於生成式預訓練變換器架構，旨在利用大量單細胞測序數據構建單細胞多組學基礎模型，其初始版本在超過3300萬個正常人類細胞的資料庫上進行預訓練。

該模型的開發包括在大型細胞圖譜上的通用預訓練和針對特定任務的微調兩個階段。2023年5月，多倫多大學研究團隊發布了首個在超1千萬個細胞上預訓練的scGPT模型。隨後在同年7月，團隊進一步將預訓練規模擴展至超過3300萬個細胞並更新了模型。其官方代碼庫持續更新，例如在2023年12月發布了零樣本套用教程。

研發背景

隨著單細胞組學研究的深入，學界認識到要在單細胞層面構建高準確度、可預測的生命大模型，離不開更大規模、更具多樣性的人群數據支撐。

與此同時，生成式預訓練模型在自然語言處理和計算機視覺等多個領域取得了顯著成功。大規模多樣化數據集與預訓練變換器的結合，已成為研發基礎模型的一種潛在方法，為在單細胞生物學領域構建類似的基礎模型提供了參考。

單細胞測序數據的快速擴增，為在大規模數據集上訓練基礎模型提供了必要的數據基礎。

技術原理

scGPT是一個基於生成式預訓練變換器（Generative Pre-trained Transformer）構建的單細胞多組學基礎模型，旨在利用大規模單細胞數據學習通用的基因和細胞表征，並通過遷移學習適配多種下游任務。

scGPT的模型架構允許同時學習基因和細胞的嵌入表示，並利用注意力機制捕捉單細胞水平的基因-基因相互作用，這為理解細胞過程提供了額外的可解釋性。

scGPT的訓練分為兩個階段：第一階段是在大型細胞圖譜上進行初始通用預訓練，第二階段是針對特定下游套用在較小數據集上進行微調。預訓練階段採用了從CELLxGENE數據集中收集的超過3300萬個正常人類細胞，並引入了專門設計的注意力掩碼和生成訓練管道，以自我監督的方式共同最佳化細胞和基因表征。微調階段可使預訓練模型適應新的數據集和特定任務，以進一步提高性能。

scGPT展示了多方面的核心能力，包括提高細胞類型標註的精確度；在擾動預測任務中表現優於其他方法5-20%，並能進行“計算反向擾動預測”以推斷擾動來源；實現多批次和多組學數據整合；通過分析模型嵌入和注意力圖，發現特定細胞狀態的基因調控網路（GRN）。

有研究通過零樣本評估揭示了scGPT等單細胞基礎模型的一些局限性，例如在處理不同實驗批次效應時存在困難，細胞聚類性能可能受批效應主導；在無微調的情況下，其基因表達重建能力有限。

功能與套用

scGPT是一個基於生成式預訓練變換器構建的單細胞生物學基礎模型，通過在超過3300萬個細胞的資料庫上進行預訓練，能夠有效提煉基因和細胞的關鍵生物學見解。該模型可通過遷移學習進行微調，以在多種下游任務中實現卓越性能，主要套用包括細胞類型注釋、擾動反應預測、多批次與多組學數據整合、基因調控網路推斷等。

scGPT能顯著提高細胞類型標註的精確度。在預測人類胰腺數據集、多發性硬化症疾病數據集和腫瘤浸潤髓系細胞數據集中的細胞類型時，與現有方法相比，scGPT在僅使用預訓練權重的情況下就能獲得具有競爭力的性能；通過在參考數據集上進行微調，可以進一步提高其性能。

scGPT可用於預測未知的基因擾動反應以及從細胞狀態推斷可能的遺傳擾動來源。在針對三個白血病細胞系的Perturb-seq數據集的評估中，scGPT在預測擾動後變化方面表現出色，性能一直比其他方法高出5-20%。其反向擾動預測功能可用於推斷細胞系發展的重要驅動基因或促進潛在治療基因靶點的發現。

scGPT能夠以自我監督的方式整合來自不同實驗批次的多個scRNA-seq數據集，通過學習統一的細胞表征來恢復被掩蓋的基因表達。在單細胞多組學整合任務中，如在10x Multiome PBMC數據集和骨髓單核細胞的基因表達與蛋白質豐度配對數據集上的測試表明，scGPT能呈現出更清晰的細胞聚類結構，是少數能成功處理此類整合任務的方法之一。

通過探查預訓練或微調模型中scGPT的嵌入和注意力圖，可以提出基因調控網路推斷工作流程。scGPT展示了其通過學習的基因標記嵌入將功能相關基因分組和區分功能不同基因的能力，能夠發現表現出細胞特異性激活的有意義的基因程式，並提取特定細胞狀態的網路激活數據。

scGPT及其變體可作為通用模型組件，套用於更廣泛的生物信息學任務。例如，在空間組學領域，此類模型可用於跨平台數據整合、表達補全、空間域識別以及細胞互作預測等任務。

模型可用性

scGPT是一個開源項目，其官方代碼庫託管在GitHub上。scGPT支持Python（版本需≥3.7.13）和R（版本需≥3.6.1）語言環境，可通過Python包索引（PyPI）進行安裝。安裝命令為。

項目提供了預訓練模型庫（Model Zoo），供用戶根據任務需求選擇。其中包括在3300萬個正常人類細胞上訓練的“whole-human”模型，該模型基於大量正常人類細胞數據訓練，適用於多種單細胞分析任務。此外，還有針對特定器官（如腦、血液、心臟、肺、腎臟）或疾病類型（如泛癌）進行訓練的專用模型。

scGPT提供了線上套用，包括參考映射、細胞注釋和基因調控網路（GRN）推斷等功能的雲端套用，用戶可通過雲端界面使用這些功能。項目文檔中包含了詳細的教程，涵蓋了零樣本套用、持續預訓練模型使用等場景。

scGPT能夠與主流的單細胞數據分析工具鏈（如Scanpy、scvi-tools）以及數據探索平台（如CellxGene）結合使用，增強了其在現有生物信息學工作流中的兼容性和實用性。

發展歷程

2023年5月，多倫多大學研究團隊發布首個單細胞生物學基礎大型語言模型scGPT，其在超1000萬個細胞上進行預訓練，該模型可實現跨各種下游任務的遷移學習。同年7月，該團隊進一步嘗試對超過3300萬個細胞進行生成預訓練來更新scGPT，結果表明，scGPT可以有效地提煉有關基因和細胞的關鍵生物學見解，並在各種下游任務中實現先進的性能。2023年，項目代碼庫持續更新，包括將flash-attention改為可選依賴、發布零樣本套用教程以及發布用於細胞嵌入任務的持續預訓練模型檢查點。

2024年2月26日，核心研究論文《scGPT: toward building a foundation model for single-cell multi-omics using generative AI》在《自然-方法學》上正式發表。同日，官方代碼庫的主要分支發布。2024年9月，scGPT推出線上雲套用，用戶可通過瀏覽器使用參考映射、細胞注釋和基因調控網路推斷等功能，並提供了詳細的安裝和使用教程。

2025年及之後，scGPT的套用範圍擴展至空間組學等領域，出現了如scGPT-spatial等變體。同時，針對其零樣本性能的評估研究也在開展，揭示了模型在特定任務上的表現和最佳化方向。

評價與爭議

scGPT被國際頂級學術期刊《自然》列為2025年值得關注的技術之一。學術界和產業界，例如製藥公司，認可scGPT在細胞分類、基因網路識別、擾動預測及藥物研發方面的潛力。在多項下游任務中，scGPT展現出較為穩健的性能。

然而，有獨立研究通過零樣本評估揭示了scGPT的局限性。在部分數據集上，scGPT的細胞類型聚類性能不及傳統的HVG選擇法、scVI和Harmony等方法。在處理不同實驗技術間的批處理效應時存在困難，其細胞嵌入空間可能仍受批效應主導。scGPT的基因表達重建能力有限，預測結果可能不如簡單的均值預測。此外，更大的預訓練數據集並不總是能直接提升scGPT的零樣本性能。

這項評估研究強調了零樣本測試在揭示模型潛在弱點方面的重要性，為後續如何最佳化單細胞基礎模型、提升其實用性指明了方向，推動了該交叉領域的發展。