互信息

互信息(Mutual Information)是資訊理論里一種有用的信息度量，它可以看成是一個隨機變數中包含的關於另一個隨機變數的信息量，或者說是一個隨機變數由於已知另一個隨機變數而減少的不肯定性。

基本介紹

• 中文名：互信息
• 所屬：資訊理論
• 也稱：互動信息量
• 衡量：某個詞和類別之間的獨立關係,

定義

設兩個隨機變數 的聯合分布為 ，邊緣分布分別為 ，互信息 是聯合分布 與邊緣分布 的相對熵，即

H(X),H(Y),I(X,Y)等關係圖

含義

互信息與多元對數似然比檢驗以及皮爾森 校驗有著密切的聯繫。

信息的含義

信息是物質、能量、信息及其屬性的標示。逆維納信息定義

信息是確定性的增加。逆香農信息定義

信息是事物現象及其屬性標識的集合。

互信息的含義

資訊理論中的互信息

一般而言，信道中總是存在著噪聲和干擾，信源發出訊息x，通過信道後信宿只可能收到由於干擾作用引起的某種變形的y。信宿收到y後推測信源發出x的機率，這一過程可由後驗機率p(x|y)來描述。相應地，信源發出x的機率p(x)稱為先驗機率。我們定義x的後驗機率與先驗機率比值的對數為y對x的互信息量（簡稱互信息）。

根據熵的連鎖規則，有

因此，

這個差叫做X和Y的互信息，記作I(X;Y)。

按照熵的定義展開可以得到：

性質

互信息的性質

(1) 對稱性——I(xi ;yj) = I(yj ;xi)

(2) X與Y獨立時——I(xi ;yj) = 0

(3) I(xi;yj) 非負。平均互信息量不是從兩個具體訊息出發, 而是從隨機變數X和Y的整體角度出發, 並在平均意義上觀察問題, 所以平均互信息量不會出現負值。或者說從一個事件提取關於另一個事件的信息, 最壞的情況是0, 不會由於知道了一個事件,反而使另一個事件的不確定度增加。

鏈法則

數據處理不等式

如果 構成馬式鏈，則

其他

某個詞t和某個類別Ci傳統的互信息定義如下:

互信息是計算語言學模型分析的常用方法，它度量兩個對象之間的相互性。在過濾問題中用於度量特徵對於主題的區分度。互信息的定義與交叉熵近似。互信息本來是資訊理論中的一個概念,用於表示信息之間的關係, 是兩個隨機變數統計相關性的測度，使用互信息理論進行特徵抽取是基於如下假設：在某個特定類別出現頻率高,但在其他類別出現頻率比較低的詞條與該類的互信息比較大。通常用互信息作為特徵詞和類別之間的測度，如果特徵詞屬於該類的話，它們的互信息量最大。由於該方法不需要對特徵詞和類別之間關係的性質作任何假設，因此非常適合於文本分類的特徵和類別的配準工作。