Next-token Prediction是一種自回歸技術，是生成式大模型的核心技術，用於預測序列中的下一個詞元（Token）。其基本工作原理是在已知序列基礎上，模型通過計算輸出下一個最可能出現的詞語或符號的機率分布。
該技術的發展以2017年Transformer架構的提出為重要里程碑，GPT系列模型對其實現進行了進一步最佳化。2024年，OpenAI發布的o1模型在高效適配特定任務和領域知識注入方面進行了創新，同年底發布的o3模型在擴展多模態生成能力、最佳化預測邏輯及整合強化學習與知識圖譜方面實現了重要突破。目前，Next-token prediction已擴展至圖像、視頻等多模態生成與理解領域。北京智源人工智慧研究院的Emu3模型於2024年完成初始版本研究，2025年推出的Emu3.5展現出對物理世界動態和因果邏輯的理解能力湧現，2026年相關研究發表於《Nature》。美團發布原生多模態大模型LongCat-Next，通過純粹的“下一個Token預測”範式實現多模態統一。
基本介紹
- 外文名：Next-token Prediction
基本含義,發展歷程,基本特徵,工作原理,核心特性,技術基礎與瓶頸,套用,影響,技術瓶頸,已知的模型缺陷,相關研究,
基本含義
Next-token prediction，顧名思義，就是在已知的文本序列基礎上預測下一個最可能出現的詞語或符號。它是一種自回歸技術，通過對序列中的先前輸入進行測量，自動預測序列中的下一個分量。
這一任務是生成式語言模型的核心，驅動了從文本生成到代碼補全等廣泛的套用。隨著技術發展，Next-token prediction已不僅限於文本序列，通過統一的自回歸預測框架，它被成功套用於圖像、視頻等多模態數據的理解與生成，成為實現多模態學習邏輯統一的核心方法論。
發展歷程
2017年，Transformer架構的提出是Next-token prediction發展的重要里程碑，其核心的自注意力機制使模型能夠高效處理長序列。從GPT-1到GPT-4，生成式語言模型經歷了數次技術飛躍，每一代的核心改進都進一步推動了Next-token prediction的性能提升，使其在自然語言生成和上下文理解方面展現出強大能力。
2024年，OpenAI發布的o1模型在高效適配特定任務和領域知識注入方面進行了創新，支持快速微調以縮小生成式模型與專用任務模型之間的性能差距。同年底，OpenAI進一步發布了o3模型，其在擴展多模態生成能力、最佳化預測邏輯及整合強化學習與知識圖譜方面實現了重要突破，展現了Next-token prediction技術的新高度。
北京智源人工智慧研究院的研究表明，基於Transformer結構和預測下一個詞元（Token）的自回歸路線是實現多模態學習邏輯統一的有效路徑。其Emu3模型於2024年完成初始版本研究，2025年推出的Emu3.5展現出對物理世界動態和因果邏輯的理解能力湧現。2026年，Emu3的相關研究發表於《Nature》，首次將統一的自回歸預測框架成功擴展到圖像、視頻等多模態領域，證明了純粹自回歸路徑的生成能力。
基本特徵
Next-token prediction是在已知的文本序列基礎上預測下一個最可能出現的詞語或符號的任務，是生成式語言模型的核心。預測下一個詞元是智慧型的核心問題，所有智慧型系統本質上都在做一件事：用歷史推測未來，Transformer加上自回歸訓練滿足了智慧型演化的基本條件。
工作原理
Next-token prediction的基本工作原理如下：給定一段文本，模型會將其轉化為數值表示（嵌入向量）。基於輸入，模型會通過多層計算，輸出一個機率分布，表示每個可能詞語出現的機率，並根據機率分布選擇最高機率的詞語作為輸出。這一過程中，模型依賴於大量訓練數據和複雜的數學結構，能夠捕捉語義和上下文關係。2017年Transformer架構的提出是Next-token prediction發展的重要里程碑，其核心機制自注意力機制使模型能夠高效處理長文本序列。在GPT系列中，Next-token prediction的實現進一步最佳化，包括採用單向自注意力確保預測邏輯符合自然語言的生成順序，使用位置編碼增強序列中詞語的順序信息，並通過大規模訓練提升模型的生成能力。
核心特性
Next-token prediction具有強大的生成能力，不僅能理解已有數據，還能基於上下文生成新的、語義連貫的內容。Next-token prediction展現出極大的任務通用性，可用於翻譯、寫作、對話等多種任務，其套用潛力正迅速擴展至智慧型創作、教育、商業和科學研究等多個領域。Next-token prediction完全依賴於訓練數據，模型的能力直接反映了數據的質量與規模。此外，Next-token prediction已從文本擴展到圖像、視頻等多模態數據，成為統一多模態學習的核心方法，例如智源Emu3模型的研究表明，僅通過預測下一個Token這一單一目標，便可實現跨模態的卓越理解與生成能力。
技術基礎與瓶頸
Transformer架構是Next-token prediction發展的重要技術支撐。儘管Next-token prediction展現了廣泛的套用潛力，但仍存在一些技術瓶頸，包括模型的能力取決於訓練數據的規模與質量的數據依賴性，大規模模型計算需求極高導致的高推理成本，在生成長文本時可能出現邏輯不一致或語義偏差的語義一致性問題，以及由於訓練數據的局限，模型可能繼承或放大其中偏見的安全性與偏見問題。例如，在以next-token prediction方式預訓練的因果語言模型中，可能隱藏著類似“逆轉詛咒”的內在問題。
套用
Next-token prediction作為生成式大模型的核心技術，正在迅速擴展至多個領域。在智慧型創作領域，Next-token prediction使得生成式AI具備了跨模態的創造能力，從文本生成到音樂、圖像創作，例如在內容創作領域為作家提供靈感或為設計師生成圖像草圖。在教育領域，通過生成定製化學習材料或智慧型問答，大模型正在推動個性化教育的發展，例如根據學生的學習進度生成適合的題目或解釋。在商業套用方面，Next-token prediction在客戶服務、市場分析和產品推薦中的套用逐漸深入，通過智慧型對話系統提升客戶體驗並最佳化商業決策。在科學研究中，從藥物研發到複雜物理模擬，大模型的預測與生成能力為科學研究提供了新的工具，例如在基因序列分析中預測下一個鹼基對以提高實驗效率。在工業製造領域的預測性維護中，通過將Next-token prediction套用於設備監測數據，大模型可以提供基於歷史數據的故障可能性預測，並根據預測結果生成維護建議以最佳化運維計畫。
Next-token prediction已擴展至多模態生成，如Emu3模型採用純自回歸路徑生成視頻，且性能表現足以對標目前主流的擴散模型。Emu3首次將“預測下一個Token”推廣到了包含圖像和視頻的複雜多模態領域，證明了統一的自回歸預測框架足以湧現出強大的多模態智慧型。
2026年3月，美團發布並全面開源原生多模態大模型LongCat-Next，該模型採用純粹的“下一個Token預測”（NTP）範式，將圖像、語音與文本統一映射為同源的離散Token，旨在讓視覺與語音成為AI的“原生母語”。
未來，Next-token prediction技術可能在更高效的模型結構、多模態融合等方面取得進展，進一步拓展套用範圍。
影響
Next-token prediction作為生成式大模型的核心技術，正在迅速擴展至多個領域。但該技術也存在一些技術瓶頸。
技術瓶頸
Next-token prediction技術仍存在一些技術瓶頸：數據依賴性高，模型能力取決於訓練數據的規模與質量；推理成本高昂，大規模模型的計算需求限制了其在資源受限場景中的套用；在生成長文本時，語義一致性難以保證；此外，由於訓練數據的局限，模型可能繼承或放大其中的偏見，存在安全性與偏見問題。
已知的模型缺陷
在以next-token prediction方式預訓練的因果語言模型中，存在“逆轉詛咒”等內在問題。“逆轉詛咒”被歸咎於next-token prediction + causal language model的本質缺陷。當前大多數開源大語言模型遵循causal language model + next-token prediction的範式，可能隱藏著更多類似“逆轉詛咒”的內在問題。
相關研究
2026年3月，美團公司發布了原生多模態大模型LongCat-Next，該模型同樣基於純粹的“下一個Token預測”範式，將圖像、語音與文本統一映射為同源的離散Token，並實現了離散原生自回歸架構（DiNA）、離散原生解析度視覺分詞器（dNaViT）等關鍵技術突破。這進一步證明了統一自回歸預測框架在多模態領域的可行性與工程實踐價值。
該研究證明了統一的自回歸預測框架足以湧現出強大的多模態智慧型。研究始於2024年的初始版本，2025年推出的Emu3.5顯示，隨著規模增長，模型對物理世界的動態、時空關係及因果邏輯的理解和預測能力出現了明顯的湧現。
然而，在圖像/視頻生成任務中，傳統的基於‘下一個token預測’的自回歸方法面臨嚴重的效率瓶頸。按照光柵順序逐個生成token需要數千甚至數萬次前向計算，導致生成速度緩慢。針對這一問題，研究者提出了如‘下一個鄰域’等新的視覺生成範式，旨在顯著提升生成效率。實驗表明，此類非自回歸模型在生成步驟上相比傳統自回歸模型可減少97.3%。
智源研究院於2026年在《Nature》發表的研究探討了通過預測下一個Token實現多模態學習統一的框架。同年（2026年），美團公司發布並開源了基於純“下一個Token預測”範式的原生多模態大模型LongCat-Next，展示了該技術在統一視覺、語音與文本模態方面的最新工程進展。黃鐵軍在2026年的專訪中闡述了自回歸路線作為通往AGI的技術路徑。浙江大學、上海AI Lab等機構在2025年提出了從“下一個token”到“下一個鄰域”的視覺生成新範式。2024年發布的兩篇文獻分別從上下兩部分探討了Next-token Prediction的核心奧秘。2026年的一篇文獻介紹了自回歸模型的基本概念。2023年的一項研究則討論了大模型中存在的“逆轉詛咒”及其與next-token prediction訓練目標的關係。
