早年經歷
韋福如本科、碩士和博士均畢業於
武漢大學計算機學院,於2004年和2009年分別獲得武漢大學計算機學院(計算機科學系)的學士學位和博士學位。博士期間,他在香港理工大學計算機系擔任訪問學者,並自此開始從事
自然語言處理(NLP)領域的研究工作。畢業後,他曾任職於
IBM中國研究中心。
職業經歷
韋福如於2010年加入
微軟亞洲研究院,任職於自然語言計算組。早期,韋福如主要從事社交媒體文本挖掘與
情感分析的研究,其研究成果被套用於微軟必應搜尋引擎、微軟認知服務文本分析API及
微軟小冰等產品與服務。
其後,韋福如負責啟動了基於網際網路的問答引擎研究,開發了名為Light的開放領域問答系統。他還參與了微軟針對美國市場的英文聊天機器人Tay的開發,負責其核心聊天引擎的研發工作。
隨著職級晉升,韋福如曾擔任微軟亞洲研究院自然語言計算組首席研究員、主管研究員等職務。
目前,韋福如擔任
微軟亞洲研究院首席科學家、微軟傑出科學家、全球研究合伙人,並領導研究院的通用人工智慧(GenAI)研究組。同時,他還擔任
西安交通大學兼職博士生導師及
香港中文大學教育部-微軟重點實驗室聯合主任。
自2016年起,韋福如將其研究工作系統性地聚焦於三個方向:一是參與SQuAD等挑戰賽的基礎研究;二是與Office等產品團隊的合作;三是將自然語言處理技術拓展至音樂創作等領域的創新孵化。
主要作品
韋福如博士在頂級會議和期刊上發表了200多篇研究論文,其論文被引次數超過70,000次,H-Index為120。
代表性論文包括《Ranking with recursive neural networks and its application to multi-document summarization》(2015)、《Neural Question Generation from Text: A Preliminary Study》(2017)、《A Redundancy-Aware Sentence Regression Framework for Extractive Summarization》(2016)、《A Joint Sentence Scoring and Selection Framework for Neural Extractive Document Summarization》(2020)、《Query-sensitive mutual reinforcement chain and its application in query-oriented multi-document summarization》(2008)、《iRANK》(2009)以及《Answer Extraction with Multiple Extraction Engines for Web-Based Question Answering》(2014)等。
韋福如博士和團隊在基礎模型和通用人工智慧領域發表和開源了一系列模型,包括UniLM、MiniLM、LayoutLM、BEiT、BEiT-2、BEiT-3、VALL-E、YOCO、BitNet、Differential Transformer、LatentLM、MiniLLM、RPT、VibeVoice等。
其主導開發的R-NET模型於2018年1月3日在史丹福大學SQuAD文本理解挑戰賽中以EM值82.650的成績超越人類分數82.304。韋福如認為語言是所有多模態模型的基礎,未來大規模預訓練模型將向“大一統”方向發展,並面臨數據表示、模型架構和學習範式等關鍵挑戰。
獲獎記錄
2017年,韋福如入選《
麻省理工科技評論》“35歲以下科技創新35人”(MIT TR35)中國區榜單。2018年,韋福如入選中國AI英雄風雲榜技術新銳獎榜單,同年獲KDD最佳學生論文獎。2019年,其負責的“統一自然語言預訓練模型與機器閱讀理解”項目入選世界網際網路領先科技成果獎。2020年12月,韋福如被授予“
北京市勞動模範”榮譽稱號。2021年,韋福如獲AAAI最佳論文提名獎。2024年,其主導的LayoutLM模型榮獲國際基礎科學大會前沿科學獎。
人物觀點
在韋福如看來,未來大規模預訓練模型向“大一統”方向發展,已經成為必然。韋福如認為:“只有模型標準化,才可能實現規模化,進而為大範圍產業化提供基礎和可能。”
韋福如提出,真正的原生多模態大語言模型不僅要在輸入輸出端支持多模態,還必須是具有實現多模態推理和跨模態遷移能力的端到端模型。他認為語言是所有多模態模型的基礎。
韋福如指出,當前多模態模型的發展面臨幾個關鍵問題:首先是模型輸入和輸出端數據的表示方式,其本質是離散數據和連續數據的統一建模、表示和學習;其次是如何有效地融合不同模態的數據,這需要設計新的模型架構;最後,也是最具挑戰性的問題,是如何構建一個支持多模態原生的學習目標和範式。
個人生活
韋福如曾表示“做研究,痛並快樂著”。他認為驅動研究項目創新的關鍵在於選擇好的課題,並希望通過科研上的努力,讓機器真正能夠理解人類的自然語言,為更多的人帶來智慧型、便捷的計算體驗,服務人類和社會。韋福如對研究工作給出了幾點建議:首先是獨立,即獨立思考,有能力從定義問題到實現落地,把握節奏,持之以恆;其次是持續創新和成長心態,要能保持初心,以成長心態積極面對挫折和工作,持續創新;最後是團隊合作。