IG又稱information divergence，information gain ，relative entropy 或者KLIC。
基本介紹
- 中文名：IG
- 外文名：Kullback–Leibler divergence
- 解釋：信息增益
- 又稱：information divergence
- 簡稱：KLIC
信息增益（Kullback–Leibler divergence）又稱information divergence，information gain(IG)，relative entropy 或者KLIC。
在機率論和資訊理論中，信息增益是非對稱的，用以度量兩種機率分布P和Q的差異。信息增益描述了當使用Q進行編碼時，再使用P進行編碼的差異。通常P代表樣本或觀察值的分布，也有可能是精確計算的理論分布。Q代表一種理論，模型，描述或者對P的近似。
儘管信息增益通常被直觀地作為是一種度量或距離，但事實上信息增益並不是。就比如信息增益不是對稱的，從P到Q的信息增益通常不等於從Q到P的信息增益。信息增益是f增益（f-divergences）的一種特殊情況。在1951年由Solomon Kullback 和Richard Leibler首先提出作為兩個分布的直接增益（directed divergence）。它與微積分中的增益不同，但可以從Bregman增益（Bregman divergence）推導得到。
