ChemDFM-X是一個面向化學材料領域的跨模態通用大模型，由上海交通大學計算機科學與工程系跨媒體語言智慧型實驗室與蘇州實驗室的聯合團隊提出，相關成果於2024年在《中國科學:信息科學》上發表。該模型旨在理解與處理化學領域的多模態數據。
該模型是在前期開源的通用化學材料大模型ChemDFM的基礎上研發的。ChemDFM基於1億條分子式、1000萬篇論文等數據進行訓練。2024年，模型升級為ChemDFM-X，新增了多模態圖譜理解能力，能夠理解文本、SMILES以及五種非文本形式的數據。它採用了獨立編碼器與統一解碼器相結合的設計思路。評測結果顯示，其性能達到或超過了開源通用模型的最佳水平。
基本介紹
- 外文名：ChemDFM-X
開發背景與意義,模型概述與特點,技術架構與原理,性能評估與表現,套用與使用方式,研究團隊與發表信息,後續發展與影響,
開發背景與意義
材料科學本質上是一個多模態學科，其研究對象多樣，數據形式也迥異，包括文本描述、分子結構、圖像及光譜等多種類型。當前大多數人工智慧模型主要聚焦於單一任務，輸入數據通常限於單一模態，限制了此類模型在實際套用中的靈活性與泛化性。
構建能夠融合多種模態的大模型將有助於更全面地理解複雜的材料與化學體系，這類多模態大模型不僅能處理來自不同來源的數據，還能有效利用不同模態間的關係信息，從而加深對物質現象的理解。構建跨模態化學材料大模型對於推動化學、材料及相關領域科研具有重要意義。
跨模態化學材料大模型ChemDFM-X是研究團隊在前期開源的通用化學材料大模型ChemDFM的基礎上研發的。本工作由上海交通大學計算機系跨媒體語言智慧型實驗室(X-LANCE Lab)團隊和蘇州實驗室團隊共同完成。
模型概述與特點
ChemDFM-X是由上海交通大學計算機科學與工程系跨媒體語言智慧型實驗室與蘇州實驗室的聯合團隊首次提出的一種面向化學材料領域的跨模態通用大模型，其目標是成為化學領域的大型多模態模型。ChemDFM-X是在研究團隊前期開源的通用化學材料大模型ChemDFM的基礎上研發的，將模型從僅支持文本、SMILES模態擴展到支持更多的化學材料模態數據和任務類型。經過數百萬多模態化學材料數據的對齊與微調，該模型能夠理解文本、SMILES以及五種非文本形式的數據：二維分子結構、三維分子構象、分子或反應圖片、質譜圖和紅外光譜圖。ChemDFM-X採用了獨立編碼器與統一解碼器相結合的設計思路，首先對不同模態的編碼器進行預訓練，之後將其接入文本大模型中，並通過監督學習更新編碼器及投影層的參數。構建跨模態化學材料大模型對於推動化學、材料及相關領域科研具有重要意義。
技術架構與原理
ChemDFM-X採用了獨立編碼器與統一解碼器相結合的設計思路。首先對不同模態的編碼器進行預訓練，之後將其接入文本大模型中，並通過監督學習更新編碼器及投影層的參數。
模型能夠理解文本、SMILES以及五種非文本形式的數據：二維分子結構、三維分子構象、分子或反應圖片、質譜圖和紅外光譜圖。每種模態數據由專門的編碼器處理，包括MoleBERT、Uni-Mol、CLIP以及團隊自訓練的Transformer編碼器。
在推理過程中，文本信息與其他模態的信息按照自然語言順序混合輸入到大模型中，由共享的大語言模型解碼器負責信息整合與分析，使得同一組參數能夠解釋多種不同的物質科學數據模態。
性能評估與表現
ChemDFM-X的相關成果發表在《中國科學：信息科學》（Science China Information Sciences）上。評測結果顯示，通過有效整合多種模態的信息，該模型大幅提高了泛化能力與整體性能。例如，在理解分子圖和分子構象等任務中，其表現達到或超過了開源通用模型的最佳水平，尤其是當同時提供SMILES表示和3D分子構象時，表現尤為優異。
套用與使用方式
ChemDFM-X能夠自主完成多數新材料研發工作，如根據新需求自動生成分子式、提供合成分子式路徑、合成新物質的成分驗證等。該模型能夠理解文本、SMILES以及五種非文本形式的數據：二維分子結構、三維分子構象、分子或反應圖片、質譜圖和紅外光譜圖，其跨模態理解能力對於推動化學、材料及相關領域科研具有重要意義。
用戶可以從HuggingFace或ModelScope下載ChemDFM-X的模型參數，並從ChemDFM-X的GitHub倉庫獲取演示代碼。部署需要安裝必要的軟體包，建議在安裝其他依賴前先安裝PyTorch、PyTorch-Geometry、FlashAttention和Uni-Mol。輸入數據準備需使用特定的模態令牌來對應不同檔案，例如[MM_FILE_G]對應分子圖檔案，標準檔案格式包括.sdf、.xyz、.png、.mgf和.csv。可通過運行bash腳本啟動命令行互動演示，並參考官方提供的示例檔案進行批量推理。相關研究成果發表於學術論文。
研究團隊與發表信息
論文“ChemDFM-X: Towards Large Multimodal Model for Chemistry”發表於《Science China Information Sciences》2024年第67卷第12期，頁碼為220109，DOI號為10.1007/s11432-024-4243-0，其預印本存檔於arXiv（arXiv:2409.13194）。
論文由上海交通大學計算機系跨媒體語言智慧型實驗室（X-LANCE Lab）與蘇州實驗室聯合團隊完成。共同第一作者為上海交通大學博士生趙梓涵與蘇州實驗室博士後陳博。共同通訊作者為上海交通大學俞凱教授、上海交通大學陳露副研究員，以及蘇州實驗室陳忻研究員。其他作者包括李靖嫖、溫力楊、王鵬宇、朱子晨、張丹陽、李彥思、戴忠陽。
後續發展與影響
該模型未來將研究同時處理多模態輸入的能力，尤其是在反應相關任務中，這在其未來工作中將進一步探索。模型基於此前自主研發的化學大模型ChemDFM，上海交通大學X-LANCE實驗室和蘇州實驗室聯合研發了ChemDFM、ChemDFM-X和ChemDFM-R通用化學大模型。
