仙農嫡Shannon's enlrnpy是美國工程師仙農( f' . Shannon)在1918年首先提出的關於信急量定髦化的測度。
基本介紹
- 中文名：仙農嫡
- 定義：美國工程師仙農在1918年首先提出的關於信急量定髦化的測度
信息是指對事物認識“不肯定性”的減少，因此可用事件‘:出現機率P(二)的負對數來最度信息量I .1即，r(.卜一lgh.)-'1(1tx)=i、r(一:)二0時，必然事件所帶來的信息為零;隨著? .r的增加，I(二)減少，1(二)是p(x)單調遞減函式;兩個獨立事件同時出現的信息量，等於兩事件各自信息量之和。若一個隨機試驗有，個可能的結果x, z，一xn,各自出現的機率”卜八，一幾，且n,= .漢p,-1，試驗後有一種且只有一神結果出現，其平均信息量H(x)一補:lod，此即仙農公式，仙農將H ( .)-，稱為”對數底a決定了嫡的單位.當a=2,e或10時，嫡的單位分別為(6it特),oat(奈特)和Hart(哈特)。
