【概率论三】参数估计

文章目录

一. 点估计
- 1. 矩估计法
- 2. 极大似然法
- - 1. 似然函数
  - 2. 极大似然估计
- 3. 评价估计量的标准
- - 2.1. 无偏性
  - 2.2. 有效性
  - 2.3. 一致性
三. 区间估计
- 1. 区间估计的概念
- 2. 正态总体参数的区间估计

参数估计讲什么

由样本来确定未知参数
参数估计分为点估计与区间估计

一. 点估计

所谓点估计是指用某个确定的值或在某个确定的点来估计总体的未知参数，所以点估计又称为定值估计。

在这里插入图片描述

构造估计量 $X_1, X_2...， )$ 的方法很多，下面介绍常用的矩估计法和极大似然估计法。

1. 矩估计法

原点矩概念

原点矩（Raw Moments）是描述随机变量分布的一种数学量，它是随机变量的幂次期望。
具体来说，对于一个随机变量 X，其 r 阶原点矩定义为： $\mu_r' = E[X^r]$ 其中 E 表示期望运算符。
假设 X 是一个服从正态分布的随机变量，我们可以用原点矩计算其各阶矩：
一阶原点矩 $\mu_1' = E[X]$ 是正态分布的均值 μ。
二阶原点矩 $\mu2' = E[X^2]$ 是正态分布的均值 μ 和方差 $σ^2$ 的和，即 $\mu2' = \text{Var}(X) + (\mu)^2$ 。

样本矩在一定程度上反映了总体矩的特征，且在样本容量n增大的条件下，样本的k阶原点矩 $A_k=1/n\sum_{i=1}^{n}X_i^k$ 依概率收敛到总体X的k阶原点矩 $μ_k=E(X^k)$ ，即 $A_k-^P> μ_k$ (n →∞)， k=1，2，…。

因而自然想到用样本矩作为相应总体矩的估计量，而以样本矩的连续函数作为相应总体矩的连续函数的估计量，这种估计方法就称为矩估计法。

矩估计法的一般做法:设总体 $\sim F ( X; θ_1, θ_2,...)$ 其中 $θ_1, θ_2$ … 均未知。

在这里插入图片描述

ing

2. 极大似然法

极大似然估计法(Maximum Likelihood Estimation)只能在已知总体分布的前提下进行。

例如，假定一个盒子里装有许多大小相同的黑球和白球，并且假定它们的数目之比为3∶1，但不知是白球多还是黑球多，现在有放回地从盒中抽了3个球，试根据所抽3个球中黑球的数目确定是白球多还是黑球多。

在这里插入图片描述

1. 似然函数

在极大似然估计法中，最关键的问题是如何求得似然函数，有了似然函数，问题就简单了，下面分两种情形来介绍似然函数。

(1)离散型总体
在这里插入图片描述

在这里插入图片描述

2. 极大似然估计

在这里插入图片描述

推广到k个未知参数也适用
在这里插入图片描述

3. 评价估计量的标准

设总体 $X$ 服从 $[0, θ]$ 上的均匀分布，
$\hat{θ}_矩 = 2 \bar{X}$ ，
$\hat{θ}_L \underset{1<=i<=n}{max}{\{X_i\}}$

都是θ的估计，这两个估计哪一个好呢?下面我们首先讨论衡量估计量好坏的标准问题。

2.1. 无偏性

若估计量 $X_1， X_2，...，X_n )$ 的数学期望等于未知参数，即 $E(\hat{θ})=θ$ 则称 $\hat{θ}$ 为θ的无偏估计量(Non-deviationEstimator)。

估计量 $\hat{θ}$ 的值不一定就是θ的真值(?)，因为它是一个随机变量，若 $\hat{θ}$ 是θ的无偏估计，则尽管 $\hat{θ}$ 的值随样本值的不同而变化，但平均来说它会等于θ的真值。

2.2. 有效性

对于未知参数θ ，如果有两个无偏估计量 $\hat{θ}_1$ 与 $\hat{θ}_2$ ，即 $E(\hat{θ}_1)$ = $E(\hat{θ}_2)$ =θ，那么在 $\hat{θ}_1$ 与 $\hat{θ}_2$ 中谁更好呢?此时我们自然希望θ,的平均偏差 $E(\hat{θ}-θ)^2$ 越小越好，即一个好的估计量应该有尽可能小的方差，这就是有效性。