條件熵 H(X|Y) 表示在已知隨機變數Y的條件下，隨機變數 X 的不確定性。
基本介紹
- 中文名：條件熵
- 外文名：Conditional entropy
- 學科：資訊理論
定義,性質,
定義
𝐻(X|Y)定義為在給定條件 𝑌 下，X 的條件機率分布的熵對 Y 的數學期望：
性質
條件熵𝐻(X|Y)相當於聯合熵𝐻(𝑋,𝑌)減去單獨的熵𝐻(Y)，即
𝐻(X|Y)=𝐻(𝑋,𝑌)−𝐻(Y)
條件熵
相關詞條
- 條件熵
條件熵 H(X|Y) 表示在已知隨機變數Y的條件下，隨機變數 X 的不確定性。定義𝐻(X|Y)定義為在給定條件 𝑌 下，X 的條件機率分布的熵對 Y 的數學期望：性質條件熵𝐻(X|Y)相當於聯合熵𝐻(𝑋,𝑌)減去單獨的熵...
- 信源條件熵
信源條件熵，英文名(conditional entropy of source)，是信息理論的基本概念之一。將信源X輸出的隨機序列每兩個符號分成一組，並不考慮組與組之間的統計.這時，可等效成一個新的信源X,XZ，其中X,(或瓜)可取A= alaZ...ay中任一個，均存在一個嫡H(XZ XL=a;)，對所有a:的可能值進行統計平均，就可求得....
- 熵的強可加性
熵的強可加性(strong additivity of entropy)熵的一種性質.聯合熵等於前一個符號出現的熵加上前一個符號已知時後一個符號出現的條件熵，即 H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)稱該性質為熵的強可加性.當前後符號無依賴關係時，該性質即變為熵的可加性，即 H(X,Y) = H(X)+H(Y).
- 最大熵模型
所謂的條件最大熵模型，就是在一定約束下條件熵最大的模型。所謂的約束，也就是我們已知的信息，可以認為我們希望模型在這些信息上能和訓練數據匹配。而熵最大，則表明除約束外，我們不再做未知的假設。在條件最大熵模型中，約束是通過特徵的形式來體現的。這裡的特徵和語音識別等領域的特徵有所不同，它表示成和...
- 馮紐曼熵
馮諾依曼熵在量子資訊理論框架下被廣泛套用於不同的形式（條件熵，相對熵等）。糾纏度量基於與馮諾依曼熵直接相關的一些量。然而，在文獻中已經出現了幾篇關於香農信息量度可能不足的論文，並且因此馮諾依曼熵作為香農熵的適當量子推廣。主要論據是，在經典測量中，香農信息測度是我們對系統性質的無知的一種自然度量，它...
- 熵率
這兩個量反映了熵率概念的兩個不同方面。第一個量指的是n個隨機變數的每字元熵，而第二個量指在已知前面n-1隨機變數的情況下最後一個隨機變數的條件熵。重要定理 定理1 對於平穩隨機過程，式 和式 中的極限均存在且相等：= 我們先來證明 存在。定理2 對於平穩隨機過程，隨n遞減且存在極限 。證明：其中的不...
- 聯合熵
大於每個獨立的熵 一集變數的聯合熵大於或等於這集變數中任一個的獨立熵。少於獨立熵的和 一集變數的聯合熵少於或等於這集變數的獨立熵之和。這是次可加性的一個例子。該不等式有且只有在 和 均為統計獨立的時候相等。相關關係 在條件熵的定義中，使用了聯合熵 互信息的定義中也出現了聯合熵的身影：在量子...
- 資訊理論和編碼理論
第一章 信源的熵 1.1 資訊理論的奠定 1.2 熵的概念 練習題 第2章 信源編碼 2.1 可變長度編碼 2.1.1 唯一可解碼 2.1.2 即時碼和前綴性質 2.1.3 唯一可解碼和McMillan定理 2.2 霍夫曼碼 2.3 霍夫曼編碼定理的證明 2.4 信源編碼定理 練習題 第3章 有噪信道編碼 3.1 離散無記憶信道和條件熵 3...
- 模糊決策樹
樣本子集的類別結果為模糊的；（4）對含有多個模糊樣本子集遞歸調用建樹算法；（5）若子集僅含有限模糊類別的樣例，對生成的決策樹對應分枝作 等標記，返回調用處。計算過程 模糊ID3算法建樹的計算過程為：（1）計算信息熵H(U)。（2）計算條件熵H(U|V)。（3）計算互信息。選擇較大 遞歸建立決策樹。
- 信息與計算科學專業系列教材:資訊理論基礎
第2章信息與熵 2.1信源熵 2.2聯合熵與條件熵 2.3熵函式的唯一性 2.4熵函式的性質 2.5連續型隨機變數的熵 2.6意義信息和加權熵 2.7Renyi熵與Tsallis熵 習題 第3章互信息 3.1平均互信息 3.1.1事件的互信息 3.1.2多隨機變數下條件互信息與聯合事件的互信息 3.1.3平均互信息 3.2互信息與其他熵...
- 離散資訊理論基礎
第1章 緒論 1.1 基本概念 1.1.1 信息的含義 1.1.2 信息的表達 1.1.3 信息的處理 1.2 資訊理論概覽 1.2.1 Shannon與資訊理論 1.2.2 通信系統的數學模型 本章小結 習題 第2章 離散信息的度量 2.1 基本概念 2.1.1 離散熵的定義 2.1.2 聯合熵與條件熵 2.1.3 相對熵與互信息 ...
- 序貫判別法
又是推算獲知第(k+1)項指標時各條件機率的先驗機率。不斷地以上一步的後驗機率作為下一步的先驗機率，就保證了判別的序號進行。為了選擇最有效的後繼指標，必須選定一個量來刻畫不同母體的可區分性。對於離散型情形，我們通過給定樣本值的條件下各母體間的熵來反映該條件下樣本歸屬的不確定性。顯然這種條件熵越...
- 基於粒計算的不確定性信息度量的理論與方法研究
在不同知識粒度結構中，研究信息粒度與不確定性信息度量的關係，設計粒運算規則、λ階粒庫，構造不同知識粒集之間的相似性度量，建立粒計算的不確定性信息度量處理系統；在不同粒度的近似空間中提出新的條件熵、條件粗糙熵、覆蓋粒度熵、概念粒熵等度量理論，並將其套用於最優知識約簡、規則度量、相似性度量、屬性...
- 動力系統中的拓撲壓與維數理論
研究了群作用下的動力系統，對amenable群作用的動力系統，分別定義了拓撲條件熵和次可加勢的相對局部拓撲壓並給出了它們的變分原理。對 Sofic 群作用的動力系統, 定義了局部拓撲壓並建立了其變分原理。在2012年定義了Sofic廣群作用的動力系統的拓撲壓並建立了其變分原理。（2）在動力系統中非緊拓撲壓變分原理的研究...
- 資訊理論理論基礎
2.3.1平均自信息量（熵）2.3.2熵函式的數學特性 2.3.3條件熵 2.3.4聯合熵 2.3.5各種熵的性質 2.3.6加權熵 2.4離散集的平均互信息量 2.4.1平均條件互信息量 2.4.2平均互信息量 2.4.3平均互信息量的性質 2.5連續隨機變數的互信息和相對熵 2.5.1連續隨機變數的互信息 2.5.2連續隨機變數...
- 粒計算及其不確定信息度量的理論與方法
本書提出了新的條件熵、條件粗糙熵、覆蓋粒度熵、概念粒熵等度量理論，並將其套用於最優知識約簡、規則度量、相似性度量、屬性重要性度量。從多粒度時間序列角度，構建粒度決策演化模型，提出屬性預測衝突、最佳化時間粒度選擇等問題的解決方案。針對基因表達譜數據，構建基於相對鄰域關係、廣義二元關係和覆蓋粒相斥關係的...
- 資訊理論基礎教程(第2版)
1.2 資訊理論的研究對象、目的和內容 第2章 信息的度量 2.1 自信息和互信息 2.1.1 自信息 2.1.2 互信息 2.2 平均自信息 2.2.1 平均自信息的概念 2.2.2 熵函式的性質 2.2.3 聯合熵與條件熵 2.3 平均互信息 2.3.1 平均互信息的概念 2.3.2 平均互信息的性質 2.3.3 數據處理定理 ...
- 相關性度量技術及其在圖像處理中的套用
2.3信息量與信息熵 2.3.1信息量 2.3.2信息熵 2.4互信息 2.4.1條件熵 2.4.2互信息 2.5本章小結 第3章非線性相關係數 3.1線性相關信息熵的定義及其性質 3.2線性相關信息熵舉例 3.3非線性相關係數及其性質 3.4本章小結 第4章非線性相關信息熵 4.1非線性相關信息熵的定義 4.2非線性相關信息熵...
- 隨機賦范模理論在兩種拓撲下的進一步研究
其次，利用上面所得到的結果，我們研究幾類重要的條件風險度量的最佳化問題，例如條件熵風險度量，條件偏離風險度量等。如上內容均需要在隨機賦范模的兩種拓撲下來進行研究，這也是隨機賦范模理論所特有的研究方式。結題摘要 隨機賦范模是經典賦范空間的隨機化. 與經典泛函分析不同的是隨機賦范模可以賦予兩種不同的拓撲...
