信度網路又稱信念網路、貝葉斯網路，是Bayes方法的擴展，是一種模擬人類推理過程中因果關係的有向圖，它的每個節點是一個可取多值的變數用以代表某一假設或觀測結果），節點間的關係由其間連線表示。
基本介紹
- 中文名：信度網路
- 外文名：Belief Network
- 提出者：J.pearl
- 提出時間：1986年
- 本質：機率網路
- 領域：人工智慧
概念,證據的傳播,深度信念網路,
概念
信度網路是一種模擬人類推理過程中因果關係的有向圖，它的每個節點是一個可取多值的變數用以代表某一假設或觀測結果），節點間的關係由其間連線表示，若節點M的值對節點N的值有直接影響
，則二者之間直接連線，連線強度用條件機率
表示。
一般來說有關n個命題
之間相互關係的一般知識可用聯合機率分布來描述，但這一描述十分複雜。J.pearl認為人在推理時，知識並不是以聯合機率分布形式表示的，而是以變數之間的相關性和條件相關性表示的，也就是說用條件機率表示，由Bayes鏈規則有：
如圖1，表示了以下變數間關係的知識。
圖中的節點表示變數，可以取多值。有向邊表示命題之間的相關性和條件相關性，邊的強度用條件機率表示。例如，對於有向邊
，有
；對於兩條邊
和
，有
，等。
這樣，有關命題之間靜態結構關係的知識便得到了表示。進一步地，為了表示不斷獲得的新證據和新事實對每個命題可能取值的影響，可再對每個節點附上一個信度，記為：
，表示在當前擁有的所有事實和證據條件下，此命題取值為
的可能程度。於是，在網路中，不管新來的證據或事實對哪一個命題直接施加影響，改變了該節點的信度，都可以通過網路中有向邊的條件機率分布的聯繫，傳播到網路中所有的命題變數而影響其信度取值，這樣形成的網路稱為信度網路。
證據的傳播
信度網路表示考慮了各命題之間的相關性和修改過程，是一種內涵的表示方法，進一步的問題是研究一種簡單有效的方法以據新證據修改各節點的信度新知識在網路中的傳播。
J.pearl提出了一套在信度網路中匯總和傳播各節點所攜帶信息、事實、證據的方法。他指出，在單連通網路中（例如，樹結構網路），各節點的信度可以協調地通過局部信息的傳播而不斷得到修正；而且，從新的證據出現到傳播遍全網路而達到新的平衡，所需的計算正比於網路直徑的長度。此外，每個節點是一個結構一致的、並行的、自激活的處理單元，十分便於硬體化。
該方法具有許多優點。
第一，具有“透明”可見性，每箇中間步驟都可給出有意義的解釋。
第二，用於控制的知識和在網路中存儲、傳播的知識是真正可分開的，因而控制十分靈活，可並行，也可順序。對於順序方式，計算能以任意的次序進行。例如，每個節點信度修正的過程的啟動可由中心控制器指令，也可按預定次序啟動，還可隨機地進行，且不必專門記住或確認網路中哪一部分節點已被修改過。
第三，它結合從頂向下和從底向上的證據組合方式，對信度進行修正，修正公式是著名的似然比公式（即
）的推廣，但與原公式不同的是，它可以處理多值變數，避免了先驗機率估計的麻煩，且不必限制各證據對於假設是相互獨立的。
第四，該方法的計算時間和存儲空間的效率都是很高的。
深度信念網路
深度信念網路（DBN）是一個機率生成模型，與傳統的判別模型的神經網路相對，生成模型是建立一個觀察數據和標籤之間的聯合分布，對
和
都做了評估，而判別模型僅僅而已評估了後者，也就是
。
經典的DBN網路結構是由若干層 RBM 和一層 BP 組成的一種深層神經網路，結構如下圖2所示
圖2 深度信念網路結構DBN 在訓練模型的過程中主要分為兩步:
第 1 步：分別單獨無監督地訓練每一層 RBM 網路，確保特徵向量映射到不同特徵空間時，都儘可能多地保留特徵信息；
第 2 步：在 DBN 的最後一層設定 BP 網路。接收 RBM 的輸出特徵向量作為它的輸入特徵向量。有監督地訓練實體關係分類器。而且，每一層 RBM 網路只能確保自身層內的 權值對該層特徵向量映射達到最優，並不是對整個 DBN 的特徵向量映射達到最優，所以反向傳播網路還將錯誤信息自頂向下傳播至每一層 RBM，微調整個 DBN 網路。RBM 網路訓練模型的過程可以看作對一個深層 BP 網路權值參數的初始化，使DBN 克服了 BP 網路因隨機初始化權值參數而容易陷入局部最優和訓練時間長的缺點。
上述訓練模型中第一步在深度學習的術語叫做預訓練，第二步叫做微調。最上面有監督學習的那一層，根據具體的套用領域可以換成任何分類器模型，而不必是BP網路。
