TensorFlow自然語言處理

《TensorFlow自然語言處理》是2019年機械工業出版社出版的圖書。

基本介紹

• 中文名：TensorFlow自然語言處理
• 出版時間：2019年7月1日
• 出版社：機械工業出版社
• ISBN：9787111629146

內容簡介

1章是對NLP的簡單介紹。該章將首先討論我們需要NLP的原因。接下來，將討論NLP中一些常見的子任務。之後，將討論NLP的兩個主要階段，即傳統階段和深度學習階段。通過研究如何使用傳統算法解決語言建模任務，我們將了解傳統階段NLP的特點。然後，將討論深度學習階段，在這一階段中深度學習算法被大量用於NLP。我們還將討論深度學習算法的主要系列。後，將討論一種基本的深度學習算法：全連線神經網路。該章結束時會提供一份路線圖，簡要介紹後面的內容。

第2章介紹Python TensorFlow庫，這是我們實現解決方案的主要平台。首先在TensorFlow中編寫一段代碼，執行一個簡單的計算，並討論從運行代碼到得到結果這一過程中到底發生了什麼。我們將詳細介紹TensorFlow的基礎組件。把Tensorflow比作豐富的餐廳，了解如何完成訂單，以便進一步加強對TensorFlow的理解。稍後，將討論TensorFlow的更多技術細節，例如數據結構和操作（主要與神經網路相關）。後，我們將實現一個全連線的神經網路來識別手寫數字。這將幫助我們了解如何使用TensorFlow來實現端到端解決方案。

第3章首先討論如何用TensorFlow解決NLP任務。在該章中，我們將討論如何用神經網路學習單詞向量或單詞表示。單詞向量也稱為詞嵌入。單詞向量是單詞的數字表示，相似單詞有相似值，不同單詞有不同值。首先，將討論實現這一目標的幾種傳統方法，包括使用稱為WordNet的大型人工構建知識庫。然後，將討論基於現代神經網路的方法，稱為Word2vec，它在沒有任何人為干預的情況下學習單詞向量。我們將通過一個實例來了解Word2vec的機制。接著，將討論用於實現此目的的兩種算法變體：skip-gram和連續詞袋（CBOW）模型。我們將討論算法的細節，以及如何在TensorFlow中實現它們。

第4章介紹與單詞向量相關的更高級方法。首先，會比較skip-gram和CBOW，討論其中哪一種有明顯優勢。接下來，將討論可用於提高Word2vec算法性能的幾項改進。然後，將討論一種更新、更強大的詞嵌入學習算法：GloVe（全局向量）算法。後，將在文檔分類任務中實際觀察單詞向量。在該練習中，我們將看到單詞向量十分強大，足以表示文檔所屬的主題（例如，娛樂和運動）。

第5章討論卷積神經網路（CNN），它是擅長處理諸如圖像或句子這樣的空間數據的神經網路家族。首先，討論如何處理數據以及處理數據時涉及哪種操作，以便對CNN有較深的理解。接下來，深入研究CNN計算中涉及的每個操作，以了解CNN背後的數學原理。後，介紹兩個練習。練習使用CNN對手寫數字圖像進行分類，我們將看到CNN能夠在此任務上很快達到較高的準確率。接下來，我們將探討如何使用CNN對句子進行分類。特別地，我們要求CNN預測一個句子是否與對象、人物、位置等相關。

第6章介紹遞歸神經網路。遞歸神經網路（RNN）是一個可以模擬數據序列的強大的神經網路家族。首先討論RNN背後的數學原理以及在學習期間隨時間更新RNN的更新規則。然後，討論RNN的不同變體及其套用（例如，一對一RNN和一對多RNN）。後，用RNN執行文本生成任務的練習。我們用童話故事訓練RNN，然後要求RNN生成一個新故事。我們將看到在持久的長期記憶方面RNN表現不佳。後，討論更高級的RNN變體，即RNN-CF，它能夠保持更長時間的記憶。

第7章介紹長短期記憶網路。RNN在保持長期記憶方面效果較差，這使我們需要探索能在更長時間內記住信息的更強大技術。我們將在該章討論一種這樣的技術：長短期記憶網路（LSTM）。LSTM功能更強大，並且在許多時間序列任務中表現得優於其他序列模型。首先通過一個例子，研究潛在的數學原理和LSTM的更新規則，以說明每個計算的重要性。然後，將了解為什麼LSTM能夠更長時間地保持記憶。接下來，將討論如何進一步提高LSTM預測能力。後，將討論具有更複雜結構的幾種LSTM變體（具有窺孔連線的LSTM），以及簡化LSTM門控循環單元（GRU）的方法。

第8章介紹LSTM的套用：文本生成。該章廣泛評估LSTM在文本生成任務中的表現。我們將定性和定量地衡量LSTM產生的文本的好壞程度，還將比較LSTM、窺孔連線LSTM和GRU。後，將介紹如何將詞嵌入套用到模型中來改進LSTM生成的文本。

第9章轉到對多模態數據（即圖像和文本）的處理。在該章中，我們將研究如何自動生成給定圖像的描述。這涉及將前饋模型（即CNN）與詞嵌入層及順序模型（即LSTM）組合，形成一個端到端的機器學習流程。

第10章介紹有關神經機器翻譯（NMT）模型的套用。機器翻譯指的是將句子或短語從源語言翻譯成目標語言。首先討論機器翻譯是什麼並簡單介紹機器翻譯歷史。然後，將詳細討論現代神經機器翻譯模型的體系結構，包括訓練和預測的流程。接下來，將了解如何從頭開始實現NMT系統。後，會探索改進標準NMT系統的方法。

第11章重點介紹NLP的現狀和未來趨勢。我們將討論前面提到的系統的相關新發現。該章將涵蓋大部分令人興奮的創新，並讓你直觀地感受其中的一些技術。

附錄向讀者介紹各種數學數據結構（例如，矩陣）和操作（例如，矩陣的逆），還將討論機率中的幾個重要概念。然後將介紹Keras，它是在底層使用TensorFlow的高級庫。Keras通過隱藏TensorFlow中的一些有難度的細節使得神經網路的實現更簡單。具體而言，通過使用Keras實現CNN來介紹如何使用Keras。接下來，將討論如何使用TensorFlow中的seq2seq庫來實現一個神經機器翻譯系統，所使用的代碼比在第11章中使用的代碼少得多。後，將向你介紹如何使用TensorBoard可視化詞嵌入的指南。TensorBoard是TensorFlow附帶的便捷可視化工具，可用於可視化和監視TensorFlow客戶端中的各種變數。

目錄

譯者序

前言

關於作者

關於審閱者

第1章　自然語言處理簡介 1

1.1　什麼是自然語言處理 1

1.2　自然語言處理的任務 2

1.3　傳統的自然語言處理方法 3

1.3.1　理解傳統方法 4

1.3.2　傳統方法的缺點 7

1.4　自然語言處理的深度學習方法? 8

1.4.1　深度學習的歷史 8

1.4.2　深度學習和NLP的當前狀況 9

1.4.3　理解一個簡單的深層模型—全連線神經網路 10

1.5　本章之外的學習路線 12

1.6　技術工具簡介 14

1.6.1　工具說明 15

1.6.2　安裝Python和scikit-learn 15

1.6.3　安裝Jupyter Notebook 15

1.6.4　安裝TensorFlow 16

1.7　總結 17

第2章　理解TensorFlow 18

2.1　TensorFlow是什麼 18

2.1.1　TensorFlow入門 19

2.1.2　TensorFlow客戶端詳細介紹 21

2.1.3　TensorFlow架構：當你執行客戶端時發生了什麼 21

2.1.4　Cafe Le TensorFlow：使用類比理解TensorFlow 23

2.2　輸入、變數、輸出和操作 24

2.2.1　在TensorFlow中定義輸入 25

2.2.2　在TensorFlow中定義變數 30

2.2.3　定義TensorFlow輸出 31

2.2.4　定義TensorFlow操作 31

2.3　使用作用域重用變數 40

2.4　實現我們的第一個神經網路 42

2.4.1　準備數據 43

2.4.2　定義TensorFLow圖 43

2.4.3　運行神經網路 45

2.5　總結 46

第3章　Word2vec——學習詞嵌入 48

3.1　單詞的表示或含義是什麼 49

3.2　學習單詞表示的經典方法 49

3.2.1　WordNet—使用外部辭彙知識庫來學習單詞表示 50

3.2.2　獨熱編碼表示方式 53

3.2.3　TF-IDF方法 53

3.2.4　共現矩陣 54

3.3　Word2vec—基於神經網路學習單詞表示 55

3.3.1　練習：queen = king – he + she嗎 56

3.3.2　為學習詞嵌入定義損失函式 58

3.4　skip-gram算法 59

3.4.1　從原始文本到結構化的數據 59

3.4.2　使用神經網路學習詞嵌入 60

3.4.3　使用TensorFlow實現skip-gram 67

3.5　連續詞袋算法 69

3.6　總結 71

第4章　高級Word2vec 72

4.1　原始skip-gram算法 72

4.1.1　實現原始skip-gram算法 73

4.1.2　比較原始skip-gram算法和改進的skip-gram算法 75

4.2　比較skip-gram算法和CBOW算法 75

4.2.1　性能比較 77

4.2.2　哪個更勝一籌：skip-gram還是CBOW 79

4.3　詞嵌入算法的擴展 81

4.3.1　使用unigram分布進行負採樣 81

4.3.2　實現基於unigram的負採樣 81

4.3.3　降採樣：從機率上忽視常用詞 83

4.3.4　實現降採樣 84

4.3.5　比較CBOW及其擴展算法 84

4.4　最近的skip-gram和CBOW的擴展算法 85

4.4.1　skip-gram算法的限制 85

4.4.2　結構化skip-gram算法 85

4.4.3　損失函式 86

4.4.4　連續視窗模型 87

4.5　GloVe：全局向量表示 88

4.5.1　理解GloVe 88

4.5.2　實現GloVe 89

4.6　使用Word2vec進行文檔分類 90

4.6.1　數據集 91

4.6.2　用詞向量進行文檔分類 91

4.6.3　實現：學習詞嵌入 92

4.6.4　實現：詞嵌入到文檔嵌入 92

4.6.5　文本聚類以及用t-SNE可視化文檔嵌入 93

4.6.6　查看一些特異點 94

4.6.7　實現：用K-means對文檔進行分類/聚類 95

4.7　總結 96

第5章　用卷積神經網路進行句子分類 97

5.1　介紹卷積神經網路 97

5.1.1　CNN基礎 97

5.1.2　卷積神經網路的力量 100

5.2　理解卷積神經網路 100

5.2.1　卷積操作 100

5.2.2　池化操作 103

5.2.3　全連線層 104

5.2.4　組合成完整的CNN 105

5.3　練習：在MNIST數據集上用CNN進行圖片分類 105

5.3.1　關於數據 106

5.3.2　實現CNN 106

5.3.3　分析CNN產生的預測結果 108

5.4　用CNN進行句子分類 109

5.4.1　CNN結構 110

5.4.2　隨時間池化 112

5.4.3　實現：用CNN進行句子分類 112

5.5　總結 115