狄利克雷分布（Dirichlet distribution）或多元Beta分布（multivariate Beta distribution）是一類在實數域以正單純形（standard simplex）為支撐集（support）的高維連續機率分布，是Beta分布在高維情形的推廣。狄利克雷分布是指數族分布之一，也是劉維爾分布（Liouville distribution）的特殊形式，將狄利克雷分布的解析形式進行推廣可以得到廣義狄利克雷分布（generalized Dirichlet distribution）和組合狄利克雷分布（Grouped Dirichlet distribution）。
在貝葉斯推斷（Bayesian inference）中，狄利克雷分布作為多項分布的共軛先驗得到套用，在機器學習（machine learning）中被用於構建狄利克雷混合模型（Dirichlet mixture model）。狄利克雷分布在函式空間內對應的隨機過程（stochastic process）是狄利克雷過程（Dirichlet process）。
狄利克雷分布的命名來自德國數學家約翰·彼得·古斯塔夫·勒熱納·狄利克雷（Johann P. G. Lejeune Dirichlet）以紀念其首次得到狄利克雷分布（積分形式）的解析形式。
基本介紹
- 中文名：狄利克雷分布
- 外文名：Dirichlet distribution
- 類型：機率分布
- 提出者：J. P. G. Lejeune Dirichlet
- 提出時間：1839年
- 學科：統計學
- 套用：統計推斷，機器學習
歷史,定義,解析形式,推導,性質,統計量,作為機率分布的性質,信息測度,數值模擬,隨機數,Pólya罈子模型,推廣,套用,
歷史
1839年，德國數學家約翰·彼得·古斯塔夫·勒熱納·狄利克雷（Johann P. G. Lejeune Dirichlet）在研究天體力學問題時得到了狄利克雷分布的積分形式：
狄利克雷積分出現後，在十九世紀沒有得到學界的關注。二十世紀初，Louis Bachelier將狄利克雷分布視為多項分布的共軛先驗進行了研究。卡爾·皮爾遜（Karl Pearson）及其合作者得到了狄利克雷分布的邊緣分布、條件分布和矩。George Pólya通過推導多元分布變數的相對頻率的極限分布得到了狄利克雷分布。此後狄利克雷分布在貝葉斯推斷、多元變數建模等問題中的套用逐漸得到重視。1962年，英國數學家Samuel Wilks在其著作Mathematical statistics中首次使用“狄利克雷分布”一詞描述其機率密度函式，並將其與狄利克雷的早期工作相聯繫，狄利克雷分布也由此得名。
定義
解析形式
機率密度函式
需要指出，d維iid隨機變數在給定
後僅構成d-1維空間：
，因此上述定義的支撐集等價於：
，此時d維狄利克雷分布的機率密度函式有如下表示：
按幾何觀點，狄利克雷分布的d維支撐集是一個開放的d-1維正單純形（standard simplex），例如3維的狄利克雷分布的支撐集是3維空間內頂點為
的等邊三角形。
狄利克雷分布的一個特例是對稱狄利克雷分布（symmetric Dirichlet distribution），此時分布參數
在所有維度相同，其取值也被稱為濃度參數（concentration parameter）。對稱狄利克雷分布的機率密度函式如下：
3維對稱狄利克雷分布，左至右：稀疏分布，均勻分布，密集分布積累密度函式
對服從狄利克雷分布的隨機變數
，在
的正交空間下，其積累密度函式
有如下表示：
邊緣分布（marginal distribution）
狄利克雷分布的邊緣分布是Beta分布：
聯合分布（joint distribution）
推導
這裡給出狄利克雷分布的機率密度函式、邊緣分布與聯合分布的推導。
給定服從Gamma分布的d維iid隨機變數
，可得其所有維度的聯合分布有如下形式：
定義新的隨機變數：
現求解該隨機變數的聯合機率密度函式並證明其服從狄利克雷分布。由於間的空間映射
存在單一反函式
，因此由坐標變換法（change of variables）可知，二者的聯合機率分布有如下表示：
對邊緣分布，取隨機變數在任意一個維度的分量
，由先前的映射關係可得：
，考慮
均服從Gamma分布，由Gamma分布的可加性：
，因此有：
類似地，對兩個邊緣分布
，其聯合分布有如下表示：
性質
統計量
更一般地，
的矩（moment）可表示為兩個多元Beta函式的比值：
作為機率分布的性質
共軛性（conjugacy）
多項分布（multinomial distribution）的共軛先驗（conjugate piror）是狄利克雷分布，即對狄利克雷分布的先驗，當似然是多項分布時，其後驗分布也為狄利克雷分布。例如給定隨機變數
的N個觀測樣本，則上述性質可表示為：
聚合性（aggregation property）
狄利克雷分布具有聚合性，對服從狄利克雷分布的隨機變數
，給定其維數對應集合的劃分
，則有：
中立性（neutrality）
服從狄利克雷分布的隨機變數具有完全中立性（complete neutrality），即任意的
都與歸一化後的
相互獨立：
與Gamma分布的關係
由狄利克雷分布機率密度函式的推導可知，對服從Gamma分布的iid隨機變數，其歸一化後的聯合分布是狄利克雷分布：
信息測度
信息熵（Shannon entropy）
信息熵描述了隨機變數的不確定性，或其具有的信息量，對服從狄利克雷分布的隨機變數
，其信息熵有如下表示：
相對熵（relative entropy）
相對熵或Kullback-Leibler散度（Kullback-Leibler divergence, KL）是兩個機率分布的非對稱性度量，若有服從狄利克雷分布的隨機變數
，二者的相對熵有如下表示：
此外當
時，狄利克雷分布的信息測度等價於相應的Beta分布的信息測度。
數值模擬
隨機數
狄利克雷分布的隨機數可以由Gamma分布的隨機數歸一化得到。具體地，首先生成尺度參數為1的Gamma分布隨機數，然後對所有隨機數求和，最後按隨機數除以求和結果輸出狄利克雷分布隨機數。這裡給出Python 3環境下上述過程的編程實現：
# 導入模組import numpy as npimport matplotlib.pyplot as pltfrom mpl_toolkits.mplot3d import Axes3D# 生成隨機數alpha = [1, 1, 1] # 三維平狄利克雷分布N = 1000; L = len(alpha) # 樣本數N=1000gamma_rnd = np.zeros([L, N]); dirichlet_rnd = np.zeros([L, N])for n in range(N): for i in range(L): gamma_rnd[i, n]=np.random.gamma(alpha[i], 1) # 逐樣本歸一化（對維度歸一化） Z_d = np.sum(gamma_rnd[:, n]) dirichlet_rnd[:, n] = gamma_rnd[:, n]/Z_d# 繪製散點圖fig = plt.figure()ax = fig.gca(projection='3d')ax.scatter(dirichlet_rnd[0, :], dirichlet_rnd[1, :], dirichlet_rnd[2, :])ax.view_init(30, 60)
Pólya罈子模型
參見：波利亞罈子模型
Pólya罈子模型（Pólya urn model）可以模擬狄利克雷分布。
將大於等於3類的d類顏色球放入罈子並打亂，每次隨機抽取一個球記錄顏色，並將該球和一個額外的，與該球相同顏色的球放入罈子。不斷重複上述操作，則對任意類型為的球，其被抽取的機率有如下表示：
推廣
其它機率分布
對服從狄利克雷分布的隨機變數
，定義新的隨機變數
，則該隨機變數服從逆狄利克雷分布（inverted Dirichlet distribution）。狄利克雷分布和逆狄利克雷分布都是多元劉維爾分布（multivariate Liouville distribution）的特例。
當狄利克雷分布的先驗與多項分布的似然的乘積對模型參數取邊緣分布時，可以得到狄利克雷-多項分布（Dirichlet-multinomial distribution）。狄利克雷-多項分布也被稱為波利亞分布（Pólya distribution），是一類在有限空間取值的混合分布（mixture distribution），在貝葉斯推斷（Bayesian inference）中有套用，也是Beta-二項分布（beta-binomial distribution）在高維情形的推廣。此外以狄利克雷分布為基礎可以得到廣義狄利克雷分布（generalized Dirichlet distribution）和組合狄利克雷分布（Grouped Dirichlet distribution），其中前者在狄利克雷分布中引入額外的分布參數，被用於處理有缺失的類型數據（incomplete categorical data），而後者是狄利克雷分布在多個類型變數（categorical variable）下的推廣。
狄利克雷過程（Dirichlet Process, DP）
主條目：狄利克雷過程
DP是狄利克雷分布由機率分布向隨機過程（stochastic process）的推廣，即給定一參數空間，若其有狄利克雷分布的基分布（base distribution），且該參數空間的任意有限劃分的測度（邊緣分布）都是狄利克雷分布，則所有劃分得到的分布的集合是DP，基分布為DP的數學期望。狄利克雷分布與DP的關係可以類比常態分配與高斯過程（Gaussian process）的關係。DP作為狄利克雷分布的推廣，在非參數貝葉斯推斷（nonparametric Bayesian inference）中有套用，常見的例子是DP混合模型（DP mixture model）。
套用
在貝葉斯推斷中，狄利克雷分布作為多項分布的共軛先驗，被用於多項分布、二項分布和類型分布（categorical distribution）的參數估計。在機器學習領域，狄利克雷分布和廣義狄利克雷分布被套用於構建混合模型（mixture model）以處理高維的聚類和特徵賦權（feature weighting）等非監督學習問題。使用狄利克雷分布建立的主題模型（topic model），即隱含狄利克雷分布（Latent Dirichlet Allocation, LDA）被套用於自然語言處理（Natural Language Processing, NLP）和生物信息學研究（bioinfomatics）。
