充分統計量

對於給定的統計推斷問題，包含了原樣本中關於該問題的全部有用信息的統計量。對於未知參數的估計問題，保留了原始樣本中關於未知參數θ的全部信息的統計量，就是充分統計量。如樣本均值X是總體數學期望的充分統計量。數學上，設(X₁， …，X_e)是來自總體X的一個隨機樣本，T=T(X₁， …，X_e)是一統計量。若在T=t的條件下，樣本的條件分布與未知參數θ無關，則稱統計量T是θ的充分統計量。

基本介紹

• 中文名：充分統計量
• 外文名：Sufficient statistics
• 所屬學科：統計學
• 相關概念：分布函式、密度函式、後驗分布等
• 提出者：費希爾

基本介紹

樣本中包含關於總體的信息可分為兩部分：其一是關於總體結構的信息，即反映總體分布的結構；其二是關於總體中未知參數的信息，這是由於樣本的分布中包含了總體分布中的未知信息。我們對信息的加工只會減少，不會增多，即統計量具有壓縮數據功能，但會凸顯我們需要的信息。那么一個好的統計量應該能將樣本中包含未知參數的全部信息提取出來，即樣本加工不損失未知參數的信息稱為充分性。如何將這一想法用數學形式表示呢?費希爾在1922年提出了一個重要概念——充分統計量計量。粗略地說，充分統計量就是不損失信息的統計量，在簡化統計問題中是非常重要的概念，也是經典統計和貝葉斯統計中為數不多的相一致的觀點之一。

定義與判斷

定義

在經典統計中充分統計量是這樣定義的：

設 是來自分布函式 的樣本 是一個統計量，如果在給定 的條件下，x的分布與 無關，則稱統計量 為 的充分統計量。

在一般情況下，用上述定義直接驗證一個統計量是困難的，因為需要計算條件分布，幸好有一個判斷充分統計量的充要條件——因子分解定理。

定理

一個統計量 是參數 的充分統計量，其充分必要條件是存在一個t與 的函式和一個樣本的函式 ，使得對於任何一個樣本x和任意的 ，樣本的聯合密度函式 可以表示為它們的乘積，即

由於樣本的聯合密度函式 ，就是似然估計函式 ，所以也可以把上述定理的相應部分改成

統計量的判斷

在貝葉斯統計中判斷一個統計量是充分統計量也有一個充要條件。

定理

設 是來自密度函式 的樣本， 是一個統計量，它的密度函式為 ，又設 是參數 的某個先驗分布族，則統計量 是參數 的充分統計量的充分必要條件是，對任意一個先驗分布 ，有

即用樣本分布 算得的後驗分布與用充分統計量 算得的後驗分布是相同的。

注意點

1.定理給出的條件是充分必要的，因此定理的充分必要條件可以作為充分統計量的貝葉斯定義。
2.如果已知統計量 是充分統計量，那么根據定理，其後驗分布可用該統計量的分布算得，由於充分統計量可以簡化數據、降低維數，因此定理也可以簡化後驗分布的計算。

例題解析

設 是來自常態分配 的樣本，由於 是 的充分統計量，若 的先驗分布取常態分配 ，其中 為已知，那么 的後驗分布可用充分統計量 的分布算得，即

因此後驗分布是常態分配。