信息測度是通過機率論與隨機過程建立的數學工具，量化不確定性與信息量的關係，其核心包含自信息和信息熵兩個基本量。自信息$I(a_i) = -\log_2 P(a_i)$描述單一事件的信息量，信息熵$H(X) = -\sum P(a_i)\log_2 P(a_i)$則表徵信源的平均不確定性。該理論起源於哈特萊1928年提出的信息量對數度量法，1948年香農建立完整數學框架，在通信系統編碼最佳化、數據壓縮等領域有重要套用。
基本介紹
- 學科：數學
- 定義時間：1993年
- 核心概念：自信息、信息熵
- 數學工具：機率論、隨機過程
- 套用領域：通信系統、數據壓縮
- 度量單位：比特
數學基礎,核心測度指標,自信息,信息熵,理論發展,套用實踐,
數學基礎
信息測度理論以機率空間$(Ω,F,P)$為基本框架，其中$P(a_i)$表示事件$a_i$發生的機率。當事件發生機率$P(a_i)$趨近於0時，其自信息量$I(a_i) = -\log_2 P(a_i)$呈現單調遞增特性，符合"小機率事件蘊含大信息量"的直觀認知。例如氣象預報中，"大雪"天氣的機率為0.07時，其自信息量為3.84比特，而"晴天"機率0.65對應0.39比特。
核心測度指標
自信息
定義在離散機率空間上的自信息量滿足：
$$I(a_i) = -\log_2 P(a_i)$$
該函式具有非負性、可加性和單調性。以6符號序列"113200"為例，當各符號等機率出現時，總信息量為$6\times\log_2 4 = 12$比特。
$$I(a_i) = -\log_2 P(a_i)$$
該函式具有非負性、可加性和單調性。以6符號序列"113200"為例，當各符號等機率出現時，總信息量為$6\times\log_2 4 = 12$比特。
信息熵
信息熵定義為：
$$H(X) = -\sum_{i=1}^n P(a_i)\log_2 P(a_i)$$
表徵信源的平均不確定度，當信源符號等機率分布時熵值最大。通過四符號信源案例計算，當機率分布為${0.4,0.3,0.2,0.1}$時，熵值達1.906比特/符號。
$$H(X) = -\sum_{i=1}^n P(a_i)\log_2 P(a_i)$$
表徵信源的平均不確定度，當信源符號等機率分布時熵值最大。通過四符號信源案例計算，當機率分布為${0.4,0.3,0.2,0.1}$時，熵值達1.906比特/符號。
理論發展
1928年哈特萊首次提出用訊息數目對數$H = K\log N$度量信息量，奠定理論雛形。1948年香農在論文《通信的數學理論》中引入信息熵公式，建立完整的測度體系。1950年代維納、布里淵等學者將信息熵與熱力學熵建立聯繫，推動跨學科套用發展。
套用實踐
在通信系統模型中，信息測度指導信源編碼算法設計，通過熵編碼技術提升傳輸效率。數據壓縮領域利用熵值估算最低無損壓縮率，例如英文文本的熵值約為4.03比特/字母，決定其理論最小存儲空間。信息測度通過事件機率與信息量的量化關係，為預警信息發布策略提供理論基礎。
