Token，中文名詞元，是一個計算機行業多領域通用術語，在不同技術場景中具有不同含義和中文譯名。在身份驗證和授權、語言模型、區塊鏈以及計算機科學等領域中，Token都扮演著重要的角色。
在信息技術中，它作為隨機字元串或加密數據塊用於身份驗證、安全訪問控制，代表用戶、設備或會話的授權信息。。在加密貨幣領域，指的是基於某個區塊鏈平台發行的代幣。在語言模型中，token是文本經過切分或位元組級編碼後得到的最小離散單元，它既可能是人類語言意義上的詞串、單個詞，也可能是詞根、詞綴、子詞或單個字元，中文名譯為“詞元”。
Token的概念起源於20世紀中葉的計算機詞法分析，發展過程與信息技術、密碼學進步深度綁定。區塊鏈技術興起後，Token被賦予數字資產屬性，2008年比特幣白皮書發布、2015年以太坊平台上線、2017年NFT興起等關鍵節點，推動其成為數字經濟的核心載體。在人工智慧大模型領域，它又成了衡量算力與成本的單位。截至2026年2月，中國日均Token消耗量達到180萬億級別，較2024年初的1000億顯著增長，中國大模型Token調用量首次超過美國。全球日均Token消耗量過去兩年增長近300倍。
基本介紹
- 中文名：詞元
- 外文名：Token
- 適用領域：Web應用程式、移動應用程式、API訪問控制等
- 所屬學科：信息技術
定義,數據統計,發展歷史,技術起源,發展進程,重大節點,階段性成果,工作原理,認證流程,數據處理,技術特點,分類用途,身份驗證,安全性,訪問控制,區塊鏈與數字經濟,自然語言處理與人工智慧,行為科學,適用領域,AI中的Tokens,技術標準,相關術語,協定方法,令牌分類,相關研究與發展,
定義
詞元是大模型處理信息的最小信息單元，具有智慧型時代可計量、可定價、可交易的特徵。當下，圍繞詞元的調用、分發與結算，一套新的價值體系正在加速演進形成，並成為人工智慧產業商業化的重要路徑。
數據統計
2025年8月14日，國務院新聞辦公室舉行新聞發布會，介紹“十四五”時期數字中國建設發展成就。劉烈宏在會上表示，2024年初，中國日均Token的消耗量為1000億，截至2025年6月底，日均Token消耗量已突破30萬億。1年半時間增長了300多倍，這反映了中國人工智慧套用規模的快速增長。截至2025年年底，全國已建成高質量數據集超過10萬個。到2026年3月，中國日均Token（詞元）調用量超過140萬億，相比2024年初的1000億增長了1000多倍，相比2025年底的100萬億，三個月時間又增長了40%多。
2026年3月24日，國新辦舉行新聞發布會，介紹第九屆數字中國建設峰會有關情況。國家數據局局長劉烈宏在現場表示，到2026年3月，我國日均Token（詞元）的調用量，已經超過140萬億。相比2024年初的1000億增長了1000多倍，相比2025年底的100萬億，增長了40%多。全球最大AI模型聚合平台OpenRouter的數據顯示，中國大模型一周的詞元調用量是美國大模型的兩倍多。日均Token調用量的大量增加，充分表明中國的人工智慧發展進入了快速增長階段。25日訊息，國家超算網際網路宣布啟動新一輪詞元（Tokens）贈送活動。該活動面向平台全體用戶，限時免費發放單人最高3000萬詞元（Tokens）額度，將延至4月6日。
發展歷史
“Token”概念的發展是一個跨學科演進的過程,伴隨著信息技術和密碼學的發展而演進，涉及多個關鍵技術節點和套用領域的突破。
技術起源
Token的概念可以追溯到計算機科學的早期，特別是在詞法分析（Lexical Analysis）階段。編譯器和解釋器需要將原始碼分解成有意義的、最小的單元進行處理，這些單元即為Token。例如，在XML流處理中，自動化範式適用於對基於Token的數據流進行模式識別。
在密碼學領域，不可偽造的量子貨幣令牌是量子信息科學的早期發明之一。儘管其技術實現仍面臨挑戰，但“S-money”令牌的引入克服了對量子記憶體和長距離量子通信的需求，在安全性方面提供了新的優勢。
發展進程
Token的演變與人類社會中貨幣的發展歷史密切相關。從實物交換到貴金屬貨幣，再到紙幣和數字貨幣，Token作為價值交換的媒介不斷發展。中世紀歐洲曾流通非官方的銅質或其他金屬小代幣，用於日常小額交易，這些也是Token的早期形式。
在計算機領域，隨著網際網路技術的發展，Token被廣泛套用於身份認證和數據安全，例如作為密碼替代方案的安全令牌。
區塊鏈技術的興起為Token帶來了革命性的發展。比特幣的誕生引入了加密貨幣的概念，而以太坊（Ethereum）通過智慧型契約（Smart Contracts）機制，使得Token的創建和管理變得更加靈活和可程式。
重大節點
早期計算機科學套用：20世紀中葉，Token作為詞法分析和編譯器設計的核心概念被提出和套用。
安全認證領域：2003年，研究對密碼、Token和生物識別技術進行了比較，強調了安全Token在用戶認證中的作用。2002年，Philip Ball報導了一種“廉價技巧”的加密系統，可能通過Token來阻止信用卡偽造。
區塊鏈與加密貨幣：
2008年：比特幣白皮書發布，引入了點對點電子現金系統，其中“代幣”（Token）代表數字價值。
2015年：以太坊平台的發布，引入了智慧型契約功能，允許用戶創建自定義的Token，例如ERC-20標準成為可互換代幣的基石。
2017年及以後：非同質化代幣（NFT）的興起，代表了區塊鏈Token的又一重大突破，使得數字藝術品、收藏品等獨特資產得以Token化。
階段性成果
數字經濟基礎設施：Token已成為構建價值網際網路的重要組成部分，推動了新型商業模式和市場形態的發展。
行為學套用：代幣經濟（Token Economies）作為行為分析中最古老和最成功的教學程式之一，擁有豐富的研究歷史。
人工智慧：在自然語言處理和計算機視覺等AI領域，Token化是模型輸入預處理的關鍵步驟，例如Vision Transformer（ViT）中圖像塊的Token化處理。
工作原理
Token的基本原理因其套用領域的不同而有所區別。
區塊鏈領域：區塊鏈上的Token基於分散式賬本技術（DLT）和智慧型契約。Token的發行、所有權轉移和交易都記錄在不可篡改的區塊鏈上。智慧型契約定義了Token的規則和功能，例如可互換性（同質化代幣）或獨特性（非同質化代幣）。其核心是信任最小化和去中心化，通過密碼學和共識機制保證了Token的安全性和可靠性。
自然語言處理領域：Tokenization是將連續文本分割成離散單元的過程。這些單元（Token）可以是單詞、子詞或字元，具體取決於Tokenization算法和語言特性。其基本原理是將非結構化文本轉化為機器學習模型可以處理的結構化輸入，例如，分詞、去停用詞等預處理步驟。
信息安全領域：安全Token利用密碼學原理生成一次性密碼或數字簽名，以驗證用戶身份或授權操作。例如，Tokeneer項目展示了通過嚴格方法和驗證工具開發高安全性系統的案例，其中Token結構包含tokenID、idCert、privCert等關鍵組件。
代幣強化系統：在行為分析中，Token作為次級強化物，其價值通過與初級強化物（如食物、活動）的配對而獲得。個體通過積累Token可以兌換所需的初級強化物，從而改變行為。
認證流程
- 用戶登錄
用戶提供憑證（如用戶名和密碼）進行身份驗證。
- Token生成
伺服器驗證身份後，生成Token並返回給用戶。
- Token傳輸
用戶在後續請求中攜帶Token進行訪問。
- Token驗證
伺服器校驗Token是否有效，決定是否授權訪問資源。
在使用的過程中Token可能會過期，用戶需重新獲取新的Token。
數據處理
token其實說的更通俗點可以叫暗號，在一些數據傳輸之前，要先進行暗號的核對，不同的暗號被授權不同的數據操作。例如在USB1.1協定中定義了4類數據包：token包、data包、handshake包和special包。主機和USB設備之間連續數據的交換可以分為三個階段，第一個階段由主機傳送token包，不同的token包內容不一樣（暗號不一樣）可以告訴設備做不同的工作，第二個階段傳送data包，第三個階段由設備返回一個handshake包。
技術特點
通用性與標準化：
編譯 Token：沒有固定標準，但遵循“詞法學”（Lexical Grammar）的規範。
區塊鏈 Token：遵循標準（如 ERC20, ERC721），確保不同錢包和交易所的兼容性。
不可篡改性：
一旦 Token 被識別或鑄造（Mint），其屬性（如價值、ID）在區塊鏈上是不可更改的，除非通過契約邏輯銷毀（Burn）。
可互換性 vs 不可互換性：
ERC20 等標準 Token 是 可互換（Fungible）的（每個Token價值相等）。
NFT（如 ERC721）是 不可互換（Non-Fungible） 的，每個 Token 都是獨一無二的。
可程式性：
區塊鏈 Token 可以通過智慧型契約編寫複雜邏輯（如每次轉賬收取 1% 費用，或持有者自動獲得治理權）。
分類用途
身份驗證
Token一般用於用戶身份驗證，常見於 Web 套用和 API 訪問。
- JWT（JSON Web Token）
基於JSON格式的輕量級Token，常用於OAuth2.0認證和Web套用授權。
- Auth訪問Token
由OAuth伺服器簽發，允許用戶授權第三方套用訪問其資源。
2025年12月，黑客利用微軟OAuth 2.0設備授權流程進行釣魚攻擊，誘騙用戶輸入設備代碼以劫持tokens並獲取賬戶許可權，用戶應謹慎處理驗證請求。
安全性
Token用於增強系統安全性，防止未經授權的訪問。
然而，在實際套用中，Token可能被黑產通過不安全的小程式或測試頁竊取，從而無需密碼即可在協定端直接操控賬號。用戶應保護數字資產（Token）與身份許可權，包括切斷授權漏洞（自查第三方套用授權）、阻斷關聯感染（開啟設備鎖或修改密碼）。
此外，一種利用OAuth 2.0設備授權流程的釣魚攻擊可以繞過多因素認證（MFA），獲取訪問令牌。建議企業監控OAuth設備代碼使用並最佳化認證流程以防範此類威脅。
- CSRF Token（跨站請求偽造令牌）
防止惡意網站模擬用戶操作的安全機制。
- TOTP（基於時間的一次性密碼）Token
常用於雙因素認證（2FA），如 Google Authenticator。
訪問控制
用於API調用或訪問受保護資源。
- API Token
用於驗證嘗試通過應用程式編程接口（API）訪問其他軟體或系統的軟體和系統。
- Blockchain Token（區塊鏈代幣）：
用於區塊鏈網路中的資產交易或智慧型契約操作。
區塊鏈與數字經濟
數字貨幣與支付：Token作為數字資產，用於點對點支付、跨境匯款和去中心化金融服務。
資產Token化：將房地產、藝術品、智慧財產權等現實世界資產轉化為數字Token，便於流通和交易，提高流動性。例如，農業食品系統中的循環經濟可以通過Token化實現信息流和價值流的最佳化。
供應鏈管理：利用Token實現產品溯源、物流跟蹤和供應鏈透明化。
去中心化自治組織（DAO）：治理型Token賦予持有者參與項目決策的權利。
能源系統：Token經濟學被套用於能源系統，通過區塊鏈技術增強管理和控制，促進可再生能源整合和需求側管理。
自然語言處理與人工智慧
文本分析：Token化是所有自然語言處理任務的基礎，如機器翻譯、情感分析、文本分類和信息檢索。
大型語言模型（LLM）：Token是LLM處理文本的最小單位，模型的性能、效率和上下文視窗大小都與Token的處理能力密切相關。
計算機視覺：Vision Transformer（ViT）等模型將圖像分割成小塊（patch），並將其視為Token進行處理，從而將Transformer架構引入計算機視覺領域。相關的研究包括如何最佳化Token的選擇、合併和池化等，以提高模型性能和效率。
行為科學
代幣經濟（Token Economy）：在教育、臨床和組織環境中，通過獎勵Token來改變個體行為，是一種行之有效的行為干預策略。
學術貢獻識別：利用區塊鏈支持的Token系統，可以獎勵學者在科學生態系統中的多樣化貢獻，彌補傳統評估方法的不足。
適用領域
套用場景 | 描述 | 示例/說明 |
|---|---|---|
Web應用程式 | 在Web開發中，Token常用於用戶登錄和授權驗證。用戶登錄後，伺服器頒發Token，用戶後續請求需攜帶此Token以證明身份和獲取許可權。 | 常見的Token類型有JSON Web Token（JWT）等。 |
移動應用程式 | 移動套用常使用Token進行用戶身份驗證和授權，確保數據傳輸的安全性和用戶身份的合法性。 | 移動App在與伺服器通信時，通過Token保障安全。 |
API訪問控制 | 對於提供API的服務，可以使用Token來控制對API的訪問許可權。通過在HTTP頭部攜帶Token，服務端驗證請求的合法性，保障API接口的安全性和數據隱私。 | 通過Token控制API訪問許可權。 |
單點登錄（SSO） | 在企業級套用中，Token廣泛套用於單點登錄系統。用戶登錄一次後，獲得可在不同系統間傳遞的Token，實現無縫登錄。 | 集成系統中使用Token可以實現單點登錄。 |
區塊鏈技術 | 在區塊鏈技術領域，Token代表一種可流通的數字資產，具備價值存儲和轉移功能。 | 比特幣和以太坊等加密貨幣是基於Token的區塊鏈套用。 |
AI中的Tokens
隨著人工智慧崛起，科技領域從資訊時代邁向智慧型時代。各行業藉助人工智慧的能力，從傳統的數據存儲與檢索轉向更自發地生成數據，以實現在工作場所的部分環節自主化。
在人工智慧領域，Tokens是文本AI理解和處理語言的基礎單元，作為訓練數據的信息片段和模型生成的輸出內容。企業必須從Tokens的角度思考數據以構建生成能力，PayPal負責人工智慧業務的高級副總裁Prakhar Mehrotra指出，每家公司都必須從Tokens的角度思考他們的數據，因為這樣他們才能從中衍生出智慧型。
在企業構建的“AI工廠”中，Tokens作為輸入和輸出的核心單元，支持自主化數據生成。Tokens生成量已成為科技企業的關鍵績效指標，例如英偉達宣稱其晶片客戶微軟在某一季度生成了超過100萬億個Tokens。企業正競相將人工智慧套用於工作場所，但如何將Tokens最好地融入自身需求並提升AI能力，仍是一個需要權衡和探索的過程。
技術標準
- OAuth 2.0
授權協定，用於廣泛的API訪問控制。
- OpenID Connect（OIDC）
基於OAuth 2.0的身份認證協定。
相關術語
協定方法
令牌分類
（信息安全術語）
- Token令牌
代表執行某些操作的權利的對象
- 訪問令牌（Access token）
表示訪問控制操作主體的系統對象
在邀請系統中使用
- Token
Petri網（Petri net）理論中的Token
- 密保令牌（Security token）
或者硬體令牌，例如U盾，或者叫做認證令牌或者加密令牌，一種計算機身份校驗的物理設備
- 會話令牌（Session token）
互動會話中唯一身份標識符
- 令牌化技術 （Tokenization）
相關研究與發展
當前，Token領域的研究熱點包括：
區塊鏈Token的估值與監管：如何準確評估Token的價值，以及制定合適的法律法規以應對Token化帶來的新挑戰。
Token經濟學模型：開發新的框架來模擬經濟活動，政策實施以及Token經濟中的商品定價，以實現財富分配和經濟動態的穩定。
跨鏈技術：實現不同區塊鏈之間Token的高效安全轉移，解決互操作性問題。
Token化在循環經濟中的套用：探索Token如何促進農業食品系統等領域的循環經濟轉型。
Token識別與分析：例如，TokenAware系統能夠準確高效地識別Token智慧型契約中的Token轉移行為。
TokenAware系統中的區塊鏈處理流程
Tokenization算法最佳化：在自然語言處理中，針對不同語言和任務，持續最佳化Tokenization方法，以提高模型性能。
Token是一個橫跨多個學科和套用領域的關鍵概念，其內涵隨技術進步和社會發展而不斷豐富，成為連線物理世界與數字世界、促進價值交換和信息處理的重要載體。
