思維鏈

思維鏈（Chain of Thought，CoT）是一種通過分步驟邏輯推理提升大語言模型解決複雜問題能力的技術，由Jason Wei等人於2022年首次提出。

該技術通過人工添加分步驟示例或使用“Let's think step by step”等提示語引導模型生成中間推理過程，將複雜問題拆解為邏輯關聯的子步驟，最終整合形成完整解題鏈路。這種顯式推理機制既提高了模型輸出的準確性，也增強了其決策過程的可解釋性。

早期研究通過在輸入中添加手工編寫的推理示例實現技術突破，後續發現特定提示語可觸發模型自主生成推理步驟。《Automatic Chain of Thought Prompting in Large Language Models》結合兩種方式，實現了無需人工干預的自動化推理路徑生成，推動了技術演進。

基本介紹

• 中文名：思維鏈
• 外文名：Chain of Thought(簡稱CoT)  
• 所屬學科：人工智慧

定義

思維鏈(Chain of Thought, 簡稱CoT)，是學者們發現的能夠激發大模型通過“思考”來回答困難問題的技術，指把邏輯較為複雜的問題進行拆解，通過一系列有邏輯關係的思考，形成完整的思考的過程，旨在通過向大語言模型展示少量的樣例，並通過這些樣例解釋推理過程，讓大語言模型學會在生成答案時展示推理過程，並引導其得到更準確的答案。

發展

思維鏈這一概念由Jason Wei任職谷歌大腦的高級研究員期間，在其2022年1月發表的論文《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》中提出。該論文指出，在問LLM問題前，手工在prompt裡面加入一些包含思維過程的問答示例，就可以讓LLM在推理任務上大幅提升。

論文中列舉案例

《Large language models are zero-shot reasoners》提出先使用 “Let's think step by step.” 讓模型自己給出推理過程，也衍生出諸如“一步一步慢慢來“這些咒語。

論文中列舉案例

《Automatic Chain of Thought Prompting in Large Language Models》這篇文章可以理解為二者的結合，先用 “Let's think step by step.” 咒語產生推理過程，再把這些過程加到prompt裡面去引導大模型推理。這樣不需要自己寫，又能相對靠譜。

論文中列舉案例

原理

對於一些邏輯較為複雜的問題，直接向大語言模型提問可能會得到不準確的回答，但是如果以prompt的方式在輸入中給出有邏輯的解題步驟（即將複雜問題拆解為多個子問題解決再從中抽取答案）的示例後再提出問題，大模型就能給出正確題解。

思維鏈1

如圖思維鏈1所示，直接讓模型進行數學題的計算會得到錯誤的結果，而引入解題過程則可以激發模型的推理能力，從而得到的正確的結果。

有時，甚至不用給示例，在輸入後面接一句“Let’s think step by step”，模型的輸出就是一步一步“思考”後的各個子問題的結果，再將該輸出拼到輸入後構造第二次輸入數據，大模型就能進一步將上一步的輸出整合，得出正確的複雜問題的解。

思維鏈2

特點

1.常識推理能力趕超人類。

以前的大語言模型在很多挑戰性任務上都達不到人類水平，而採用思維鏈提示的大語言模型，在Big-Bench Hard(BBH)評測基準的23個任務中，有17個任務的表現都優於人類基線。比如常識推理中會包括對身體和互動的理解，而在運動理解方面，思維鏈的表現就超過了運動愛好者（95%vs84%）。

2.數學邏輯推理大幅提升。

一般來說，語言模型在算術推理任務上的表現不太好，而套用了思維鏈之後，大語言模型的邏輯推理能力突飛猛進。MultiArith和GSM8K這兩個數據集，測試的是語言模型解決數學問題的能力，而通過思維鏈提示，PaLM這個大語言模型比傳統提示學習的性能提高了300%。在MultiArith和GSM8K上的表現提升巨大，甚至超過了有監督學習的最優表現。這意味著，大語言模型也可以解決那些需要精確的、分步驟計算的複雜數學問題了。

3.大語言模型更具可解釋性，更加可信。

超大規模的無監督深度學習打造出來的大模型是一個黑盒，推理決策鏈不可知，這就會讓模型結果變得不夠可信。而思維鏈將一個邏輯推理問題，分解成了多個步驟，來一步步進行，這樣生成的結果就有著更加清晰的邏輯鏈路，提供了一定的可解釋性。