关于克拉美罗下界(CRLB)-及不同DOA估计算法下的方差(性能)对比

说明

参数估计在科研、工程乃至生活中都有广泛的应用。参数估计要解决的问题简单来说就是：基于一组观测数据，通过某种方法来获得我们想要的，与观测数据相关的一个或多个参数。

克拉美-罗界(Cramr-Rao Bound, CRB)是无偏估计里我们常用的且十分重要的一种对不同参数估计方法性能评价的参考(对比)指标：对于同一组观测数据，可能会有很多不同的方法来做估计并得到各自的估计结果，那么，这些方法的优劣(包括其相对优劣、以及参数估计结果与真实值的逼近程度)如何，需要我们提出一种客观的评价指标(参考)，克拉美罗界就是这样一个指标。

当然，克拉美罗界的用处不止于此，以及关于什么是无偏估计，我将在本博文中做出更详细的说明。 克拉美罗界是参数估计相关paper中不可或缺的元素，在去年一个老哥带我发的一篇文章中，审稿人之一对我们提了这样的要求：“The CRLB should be also include to show the performance benchmark for the estimation algorithms.”那会儿对CRLB还没有什么概念…,初看了一下觉得蛮繁琐，匆匆写了个理由忽悠过去了(可能主要是期刊比较水所以能忽悠过去…)，后面就一直拖到现在才得空来对这个概念做一些学习和梳理，并形成了本篇博文。

关于CRLB，网上确实有一些比较好的资料，但是读者若要系统以及细节地理解参数估计以及关于CRLB的概念，建议看看参考资料[1]。本文的内容相对简单，主要是试图理清楚关于参数估计、无偏估计、CRLB的由来和原理等概念，并以一维线阵为例，给出线阵DOA估计的CRLB、不同DOA估计算法的性能比较。可能会有一些错误，欢迎读者评论指正，我会不定期补充维护。

Blog

2024.3.25 博文第一次撰写

一、参数估计&克拉美罗下界基本概念

参数估计要解决的问题简单来说就是：基于一组观测数据，通过某种方法来获得我们想要的与观测数据相关的一个或多个参数。现在计算机技术、AD转换等技术已经发展得足够成熟了，在雷达、声呐、通信等各类系统中，我们一般都会将各类模拟量采样并存储为离散时间波形，因此，参数估计问题就是从得到的离散时间波形或数据集中提取参数的问题。用数学语言来表达就是：假设我们有N点的数据集合：{x[0],x[1],x[2],…x[N-1]}，它与未知参数y有关，我们希望基于该数据集合来确定估计量y:

(1-1)

式中，g是某个函数(某种参数估计方法)。是参数y在g方法下的估测值。对应到本博文后面将要探讨的一维线阵的DOA估计问题：这里的x就可以理解成每个接收通道采集的数据，y是目标角度，我们做DOA估计的方法有很多(关于DOA估计，读者可以参考我之前写过的一篇博文[2]：车载毫米波雷达DOA估计综述-CSDN博客)。比如有经典的FFT、DBF、Music、Capon等。

这便是参数估计问题。

而无偏估计是指估计量的平均值为未知参数的真值。对应到前面的数学语言上，即假设我们有M组N点的数据集合：第一组为 X_1:{x_1[0],x_1[1],x_1[2],…x_1[N-1]}、第二组为X_2: {x_1[0],x_1[1],x_1[2],…x_1[N-1]}、以此类推一直到第M组。我们用方法g对这M组的数据进行估计，可以得到M个，此时，如果：

(1-2)

式中y为参数的真值，则我们称该估计为无偏估计。我们基于FFT、DBF、Music、Capon的方法做线阵的DOA估计都属于无偏估计。

如前文说明中所述，对于同一组观测数据，可能会有很多不同的方法来做估计并得到各自的估计结果，那么此时我们会感兴趣的一个问题是：大多数情况下，哪一种估计方法得到的估计量是更优的？一个很自然的想法是：均方误差(mean square error, MSE),其定义为：

(1-3)

均方误差度量了估计量偏离真值的平方偏差的统计平均值，对于同一个参数，如果某种估测方法下得到估测值的均方误差越小，我们可以认为其更优！但遗憾的是，该准则的采用导致我们无法得到最优估计量，因为这个估计量不能写成数据的唯一函数，我们可以将上式重写：

（1-4）

进一步地：

（1-5）

上式表明，MSE是由估计量的方差 (方差是针对估计量的均值，而均方差是针对真值)以及偏差引起的误差组成的。这里面包含了参数真值，我们无法求得使MSE最小的参数估计值。

但是，如果我们将问题约束(限定)为无偏估计问题呢？由前文对无偏估计的讨论我们知道，无偏估计下，此时跳开了真值，最小MSE(也就对应了最小方差)对应的估计量是可以实现的！这样的估计量被称为最小方差无偏(minimum variance unbiased, MVU)估计量。

此时新产生的一个问题是：对于任意一个参数无偏估计问题，我们使用不同的参数估计方法得到的参数估计值的最小方差能小到多少？ 这个最小的方差值，就是所谓的克拉美罗下界(Cramer-Rao Lower Bound, CRLB)。如果某种参数估计方法下得到的参数估计值，其方差值等于克拉美罗下界，我们认为该估计方法是最优的(至少是最小方差无偏估计)。

【CRLB可以帮助我们确定所使用的估计方法得到的参数效果如何(对比较无偏估计量的性能提供了一个标准)、是否是MVU估计量？、此外，也提醒我们不可能求得方差小于下限的无偏估计量，这在信号处理的可行性研究中通常是有用的。】

那么，如何得到无偏估计下的CRLB？无偏估计下我们假定所估测参数的似然函数(似然函数表征参数取不同值下的概率)的表达式满足高斯分布：

（1-6）

我们对其取自然对数：

（1-7）

则其一阶导数为：

（1-8）

负的二阶导数为：

（1-9）

二阶导数衡量的是曲率，由上式可知，曲率随着的减小而增加。我们已经知道估计量y的方差为：σ2，那么对于该例子，其方差为：

(1-10)

尽管在本例中二阶导数并不依赖x,但一般来说是和x有关的，这样，曲率更一般的度量是(取均值)：

(1-11)

它度量的是对数自然函数的平均曲率(此时曲率随着x的变化而变化)。该值越大，则估计的方差越小。

假定p(x;θ)满足“正则”条件：

(1-12)

那么任何无偏估计量的方差必定满足：

(1-13)

由于二阶导数是与x有关的随机变量(我们之前的例子不是，但是大多数情况下是的)，所以上式的数学期望由下式给出：

(1-14)

以前述讨论和得到的公式为基础，在参考资料[1]中，给出了不同参数估计问题下的CRLB的表达式（这部分内容更具体的读者还是看参考资料[1],其实我也不是很理解）。如一维线阵、单目标下的方位估计，其CRLB表达式为：

（1-15）

(对于接收到的数据为复数的情况下，如果是实数，则上面的分子为12),这里的θ对应的是线阵所在直线与目标位置和第一个阵元连线的夹角。M是阵元个数，L是阵列孔径，对于间隔为d的均匀线阵，L = （M-1）*d 。后文的仿真将基于该公式。 对于DOA估计，其CRLB是由阵元个数、孔径、SNR唯一确定的。

二、线阵&单目标下不同DOA估计算法方差结果及其与CRLB对比

本章基于蒙特卡罗方法，评估：

1. 线阵、单目标、且目标角度确定的情况下，不同SNR下不同DOA估计算法的方差，及其与CRLB的对比。（只使用单快拍数据）

2. 线阵、单目标、且目标SNR确定的情况下，不同角度下不同DOA估计算法的方差，及其与CRLB的对比。(只使用单快拍数据)

本章的DOA估计算法在原代码中我写了三种：DBF、Music、Capon，但是Capon在单快拍下效果太差了(其测量结果抖动很厉害，实在没眼看…，不过多快拍下还不错。),所以后面的图中我没有给出Capon的测量结果(不过我提供的代码中还是有的，只是注释了，读者可以关闭注释，自己试试)。关于DOA估计方法和细节，这里不做说明，读者可以参看资料[2],此外，关于蒙特卡罗方法，读者可以参考我之前写的另一篇博文[3]：关于蒙特卡罗方法及其在信号处理中的应用-CSDN博客，这里也不给出具体的使用说明。

本章仿真中，所使用的主要参数列表如下：

表2.1 仿真参数列表

	参数	值
不同SNR下不同DOA算法参数估计方差对比	阵元数	8
	阵元相对位置关系	(0:1:7)0.5λ
	目标角度	5°
	快拍数	1
	SNR	(15:2:35)
	蒙特卡罗次数	1000

不同角度下不同DOA算法参数估计方差对比	阵元数	8
	阵元相对位置关系	(0:1:7)0.5λ
	目标角度	(0:5:70)
	快拍数	1
	SNR	25
	蒙特卡罗次数	1000