最大離散熵定理(maximal discrete entropytheorem)離散信源的熵達到最大值的一個重要定理。
基本介紹
- 中文名：最大離散熵定理
- 外文名：maximal discrete entropytheorem
- 屬性：通信術語
- 相關：熵
- 分類：定理
簡介,最大熵原理,相關研究,
簡介
該定理斷言:對於具有q個符號的離散信源，當q個信源符號出現的可能性相等時，信源的嫡達到最大值，即
稱信源中的事件為等機率事件。即等機率分布的信源其平均不確定性最大。
最大熵原理
最大熵原理是一種選擇隨機變數統計特性最符合客觀情況的準則，也稱為最大信息原理。隨機量的機率分布是很難測定的，一般只能測得其各種均值（如數學期望、方差等）或已知某些限定條件下的值（如峰值、取值個數等），符合測得這些值的分布可有多種、以至無窮多種，通常，其中有一種分布的熵最大。選用這種具有最大熵的分布作為該隨機變數的分布，是一種有效的處理方法和準則。這種方法雖有一定的主觀性，但可以認為是最符合客觀情況的一種選擇。在投資時常常講不要把所有的雞蛋放在一個籃子裡，這樣可以降低風險。在信息處理中，這個原理同樣適用。在數學上，這個原理稱為最大熵原理。
從這個意義上講，那么最大熵原理的實質就是，在已知部分知識的前提下，關於未知分布最合理的推斷就是符合已知知識最不確定或最隨機的推斷，這是我們可以作出不偏不倚的選擇，任何其它的選擇都意味著我們增加了其它的約束和假設，這些約束和假設根據我們掌握的信息無法作出。
