點估計的評估標準

發表於 | 分類於
字數統計 2528

1. 前言

統計學的分析方法包含點估計、區間估計和檢定。而點估計是統計分析方法的第一個。所謂點估計是利用樣本對已知母體分配中的未知參數建立估計的方法。它利用樣本的數學組合件利估計母體分配參數的公式，估計後得到一個值。

通常我們會對統計量和點估計量分不清楚。他們都是樣本的數學組合，不過目的不同。我建立以下表格說明，比較好理解。

  統計量 點估計量
公式 樣本的數學組合 樣本的數學組合
目的 反映母體參數的影響 成為估計母體參數的公式

那麼當我們做好點估計後，這樣的點估計量需要滿足哪些標準才算是個好的點估計量呢？

想知道樣本可以有很多種數學組合成為點估計量，但統計學的UMVUE告訴我們點估計量要滿足4個評估標準才能算是統計學認為的好的點估計量，這四個標準分別為

  • 充分性
  • 不偏性
  • 效率性
  • 一致性

下面我將分別說明這四個標準。

2. 充分性

滿足充分性的點估計量稱為「充分統計量」，它的定義是指樣本的數學組合能夠「充分」反映母體分配參數的影響。

分配名稱 參數 充分統計量 抽樣分配
伯努利分配 B(1, p) p $X_{1}, X_{2}, \cdots, X_{n}$ 二項式分配 B(n, p)
二項式分配 B(m, p) p $X_{1}, X_{2}, \cdots, X_{n}$ 二項式分配 B(mn, p)
波松分配 P($\lambda$) $\lambda$ $X_{1}, X_{2}, \cdots, X_{n}$ 波松分配 P($n \lambda$)
常態分配 N($\mu, \sigma^{2}$) $\mu$ $\overline{X}$ 常態分配 N($\mu, \sigma^{2} / n$)
常態分配 N($\mu, \sigma^{2}$) $\sigma^{2}$ $\sum_{i=1}^{n} \left( X_{i} - \overline{X} \right)^{2}$ 卡方分配 $\frac{\sum_{i=1}^{n} \left( X_{i} - \overline{X} \right)^{2}}{\sigma^{2}} \sim \,\chi_{n-1}^{2}$

如果我們找到一個樣本的數學組合為母體參數($\theta$)的充分統計量時，它的和一個常數C做加減乘除也是充分統計量。

充分統計量服從的分配稱為抽樣分配(Sampling distribution)，並且如果要找到母體機率分配的充分統計量，得先確定母體分配。此時常用的方法是最大概似法。

3. 不偏性

點估計量的不偏性代表集中趨勢，對應到期望值原理。不偏性的定義是點估計量的期望值是母體參數加上點估計量產生的偏誤，用符號表示，$E(\hat{\theta})=\theta + b^{‘}(\theta)$。如果$b^{‘}(\theta)=0$ 稱$\hat{\theta}$為母體參數($\theta$)的不偏估計量。

不偏估計量可以只有一個、或沒有，也可能很多個。那麼$E(\hat{\theta})$是什麼意思呢？我分為三個步驟：

  1. $\hat{\theta}$是由樣本得到的數學組合，所以每一次就得有n個樣本。
  2. 要得到$E(\hat{\theta})$，你就得產生M次，就能得到M個$\hat{\theta}$。
  3. 我們將M個$\hat{\theta}$做平均，即為$E(\hat{\theta})$。

例如，常態分配的樣本平均數($\overline{X}$)，期望值等於母體參數($\mu$)，此時就可稱樣本平均數是常態分配的母體平均數($\mu$)的不偏估計量。

常態分配的樣本變異數的期望值是否可以不偏母體變異數呢？答案一樣是不偏。這點可以透過上方充分統計量的常態分配母體變異數即可知道不偏。

如果是樣本標準差的期望值呢？一樣可使用卡方分配轉Gamma分配，再用期望值可得到樣本標準差的期望值不等於母體標準差。因此，常態分配的樣本標準差對母體標準差不具有不偏性。

在學習統計學時，很多人都不容易理解為什麼點估計量是隨機變數，有時候又會是一個數字。我在這邊解釋一下。在我們討論不偏性時，點估計量被視為隨機變數，所以，所有可能的估計值，計算平均數就是母體分配的參數。

而我們在做抽樣時，則是一次抽出n個。從樣本的角度來說，點估計量就不是隨機變數，而是一個值。

4. 效率性

統計學的點估計量效率性有兩個定義，分別是相對效率性(relative efficiency)和均一效率性(Uniformly efficiency)。

  • 相對效率性 若有兩個點估計量，皆為不偏估計量，但第一個點估計量的變異數小於第二個點估計量的變異數，則稱第一個點估計量較第二個點估計量具有相對效率性。
  • 均一效率性 對於所有的母體參數不偏估計量，存在一個不偏估計量皆較任一不偏估計量的變異數還來得小，我們稱此不偏估計量具有最小變異數，並且具有唯一性。

那麼對於均一效率性的點估計量變異數如何計算呢？

此時我們需要Cramer-Rao low bound幫助我們計算。假設點估計量為$\hat{\theta}$，存在Fisher information function, $I(\theta)$，可得到，

\[Var(\hat{\theta}) = \sigma^{2}(\hat{\theta}) \geq \frac{1}{n\,I(\theta)}\]

那如何計算得到Fisher information function呢？我們得先知道母體的機率密度函數，$f_{X}(x)$，進行微分後平方取期望值，即

\[I(\theta)=E \left[\left(\frac{d\, ln(f(x))}{d\,\theta} \right)^{2} \right]\]

最後，根據Rao-Blackwell定理可知「充分性」+「不偏性」可得到「效率性」。

5. 一致性

所謂一致性是指隨著樣本數愈多，樣本與母體會愈相同，同時樣本的點估計量也會隨著樣本增加愈接近母體的參數。這個特性讓變動的點估計量公式可以穩定成為母體參數。我們可以說不論樣本大小，採用的點估計量仍不變。

那點估計量的一致性又可與極限定理結合在一起。當樣本數足夠大時，樣本的點估計量呈現一定的規則。以符號表示為，

\[\hat{\theta} \overset{n\rightarrow \infty}{\longrightarrow} \theta\]

那麼在點估計量的一致性會有怎樣的狀況呢？

5.1. 點估計量的變異數因樣本數足夠大而趨近0

使用符號表示為 $Var(\hat{\theta})\overset{n\rightarrow \infty}{\longrightarrow}0$。此時，我們即可稱點估計量是母體參數的一致估計量。

這是利用樣本增加使樣本接近母體，最終樣本的標準誤(standard error)趨近於0，達到一致性。

一般是使用柴比雪夫不等式做分析。

\[P \bigg\{\lvert \hat{\theta} - \theta \rvert > \varepsilon \bigg\} \leq \frac{Var(\hat{\theta})+\left(E(\hat{\theta})-\theta \right)^{2}}{\varepsilon^{2}} \xrightarrow[n \rightarrow \infty]{} 0\]

當上式成立時，$\hat{\theta} \xrightarrow[n \rightarrow \infty]{} \theta$ 。

此處讓我定義無限大符號代表需要全部將母體個數抽出。

5.2. 使用弱大數法則說明

比第一點更強烈的是極限理論的弱大數法則，其公式為

\[P \bigg\{\lvert \hat{\theta} - E(\theta) \rvert > \varepsilon \bigg\} \leq \frac{Var(\hat{\theta})}{\varepsilon^{2}} \xrightarrow[n \rightarrow \infty]{} 0\]

上式的「無限大」有可能相等，不表示一定相等。當上式成立時，可得到

\[\hat{\theta} \xrightarrow[n \rightarrow \infty]{p} E(\theta)\]

6. 舉例說明

給定常態分配為$N(\mu=5,\sigma^{2}=25)$。 令樣本平均數($\overline{X}$)為$\hat{\mu}$，這是常態分配母體平均數的充分估計量。

  • 此時，$E(\hat{\mu})=\mu=5$ 具有不偏性。

  • 由Rao-Blackwell定理得到 $Var(\hat{\mu})=\sigma^{2} / n = 25 / n$ 具有效率性。

  • 一致性：$P \big{\lvert \hat{\mu} - \overline{\mu} \rvert > \varepsilon \big} \leq \frac{S_{\hat{\mu}}^{2}}{\varepsilon^{2}}=\frac{25}{n \,\varepsilon^{2}}\overset{n\rightarrow \infty}{\longrightarrow} 0$，所以，

\[\hat{\mu}\overset{n\rightarrow \infty}{\longrightarrow} \overline{\hat{\mu}}=\overline{\overline{X}}\overset{n\rightarrow \infty}{\longrightarrow} \mu=5\]
  • 【注意】此例為已知母體參數。

7. 小結

點估計量是統計分析進入到區間估計和假設檢定前要先獲得的估計或檢定用公式。不過要能夠做為母體參數的統計量公式，得滿足UMVUE的4點評估標準：充分、不偏、效率、一致。

通常我們使用「點估計量」一詞時，代表點估計量為隨機變數，是有分配的。而抽取一組樣本得到的點估計量數值，稱為「點估計值」，則是一個數字。當我們使用數學方法或多組的樣本值驗證點估計量是否滿足評估標準時是將其視為隨機變數。

當然UMVUE的點估計量評估標準是一種標準，還有另一種標準來自迴歸分析時的BLUE評估標準。我也不另外在開一篇新文章解說，直接在這邊以表格顯示他們的異同。

標準 UMVUE BLUE 異同
1 充分性 線性 相異
2 不偏性 不偏性 相同
3 效率性 效率性 相同
4 一致性 一致性 相同

觀察上表可發現這兩種評估標準都具有不偏性、效率性和一致性，因此有些教科書就只說明這三種評估標準。至於我在此處選擇UMVUE是因為Rao-Blackwell theorem說明充分+不偏 $\Rightarrow$ 效率。而線性是我們從高中開始學習數學就開始接觸的知識，既然要介紹統計學觀念，自然就選擇UMVUE來當作評估標準，做介紹使用。

了解點估計量的評估標準，接下來就可以了解點估計量的計算方法。我們下篇文章見。