维纳滤波器小结

一、问题概述

1.1 维纳滤波器简介

维纳滤波器是在最小均方误差（mmse）准则下的线性最优滤波器，其利用平稳随机过程的相关特性和频谱特性，对混有噪声的信号进行滤波。

其输入信号为$u(n)=d(n)+v(n)$，其中$d(n)$为信号（即后续常用的期望响应），$v(n)$为噪声。

输出信号为$y(n)=W(n)\ast u(n)$，其中$W(n)$为维纳滤波器，我们希望含有噪声的$u(n)$在经过维纳滤波器后，得到的$y(n)$能接近$d(n)$。

维纳滤波器的使用分为两个阶段：

1. 计算最优参数阶段（大部分教材主要介绍的内容）

   此时，$\ast \ast d(n)$是训练序列（已知）**，叠加统计特性已知的噪声$v(n)$，得到输入信号$u(n)$。进而得到对应$y(n)$。最小化均方误差$J(w)=\mathbb{E}[|e(n){|}^2]$，得到滤波器最优参数$w_0,w_1,w_2,\dots ,w_{M-1}$。

2. 利用最优参数，对输入信号$u(n)=d(n)+v(n)$进行滤波的阶段（教材忽略的内容）

   此时，$\ast \ast d(n)$就是未知的了**，我们需要利用之前的参数恢复$d(n)$，我们认为$d(n)=y(n)=W(n)\ast (d(n)+v(n))$。

PS：

1. 与传统选频滤波不同（若信号与噪声在同一频段，则噪声依然无法滤去），该方法基于输入信号和噪声的平稳性，即使两者在同一频段，依然能有效滤除噪声。
2. 除了mmse准则，还有最大输出信噪比准则、统计检测准则等。一定条件下，其它准则下的最佳滤波器与维纳滤波器等价——讨论线性滤波器时，一般以维纳滤波器为参考。

1.2 应用前提

滤波器输入为有用信号和噪声，两者均为宽平稳随机过程，且知二者的二阶统计特性（均值、方差、自相关等二阶统计量）。

1.3 维纳滤波器问题综述

如上图所示，考虑M阶FIR滤波器，参数为$w_0,w_1,w_2,\dots ,w_{M-1}$。

输入为$u(n),u(n-1),u(n-2),\dots ,u(n-M+1)$。（注意$u(n)=d(n)+v(n)$）

则滤波器输出（我们的估计）为

$$\begin{array}{c}y(n)=\sum _{k=0}^{M-1}{w}_k^{\ast }u(n-k),n=0,1,2,\dots \end{array}$$

估计量和期望输出的差值为

$$e(n)=d(n)-y(n)$$

前面提到，维纳滤波器是基于mmse原则的最优滤波器，所以其目标函数为：

$$\begin{array}{c}J(w)=\mathbb{E}[|e(n){|}^2]\end{array}$$

所以，问题的重点，就放在了如何求解这个目标函数这里（提前剧透，后续发现，这个目标函数其实是个凸函数，具体来说，是关于滤波器参数$W$的二次函数，因此，该问题其实有解析解）。

PS：读完后，你会发现，维纳滤波器的思想非常简单。

二、目标函数求解（得到维纳霍夫方程）

维纳滤波器第1阶段，求解滤波器最优参数的问题，即求解下列无约束优化问题：

$$\begin{array}{c}\begin{array}{ll}\min & J(w)=\mathbb{E}[|e(n{)}^2|]\end{array}\end{array}$$

有

$$\begin{array}{c}\begin{array}{rl}J(w)=& \mathbb{E}\left[e(n)e^{\ast }(n)\right]\\ =& \mathbb{E}\left[(d(n)-y(n))(d^{\ast }(n)-y^{\ast }(n))\right]\\ =& \mathbb{E}\left[|d(n){|}^2\right]-\sum _{k=0}^{M-1}{w}_k^{\ast }\mathbb{E}\left[u(n-k)d^{\ast }(n)\right]-\sum _{k=0}^{M-1}{w}_k\mathbb{E}\left[u^{\ast }(n-k)d(n)\right]\\ & +\sum _{k=0}^{M-1}\sum _{i=0}^{M-1}{w}_k^{\ast }{w}_i\mathbb{E}\left[u(n-k)u^{\ast }(n-i)\right]\end{array}\end{array}$$

由于$d(n)$均值为0（一般会对信号作减去均值处理），所以$\mathbb{E}\left[|d(n){|}^2\right]={\sigma }_d^2$（已知）。

$\mathbb{E}\left[u(n-k)d^{\ast }(n)\right]=p(-k)$

$\mathbb{E}\left[u^{\ast }(n-k)d(n)\right]=p^{\ast }(-k)$

其中，$p(-k)$为输入信号和期望响应的互相关（已知）。

$\mathbb{E}\left[u(n-k)u^{\ast }(n-i)\right]=r(i-k)$

其中$r(i-k)$为相隔$i-k$点的输入信号的自相关函数（已知）。

所以，$J(w)$可写为：

$$\begin{array}{c}J(w)={\sigma }_d^2-\sum _{k=0}^{M-1}{w}_k^{\ast }p(-k)-\sum _{k=0}^{M-1}{w}_k{p}^{\ast }(-k)+\sum _{k=0}^{M-1}\sum _{i=0}^{M-1}{w}_k^{\ast }{w}_{i}r(i-k)\end{array}$$

显然，上式代表误差性能曲面，其仅与$w$有关，且是$\ast \ast w$的二次函数（且具有最小值）**。

求其最优解，令

$$\begin{array}{c}{\nabla }_{k}J(w)=0,k=0,1,2,\dots ,M-1\end{array}$$

注意，我们讨论的信号一直为复值信号，所以可定义

$$w_k=a_k+j{b}_k$$

则

$$\begin{array}{c}\begin{array}{rl}{\nabla }_{k}J(w)=\frac{\partial J}{\partial a_k}+j\frac{\partial J}{\partial b_k}& =-p(-k)-p^{\ast }(-k)+\sum _{i=0}^{M-1}{w}_{i}r(i-k)\\ & +j\left(jp(-k)-j{p}^{\ast }(-k)-j\sum _{i=0}^{M-1}{w}_{i}r(i-k)\right)\\ & =-2p(-k)+2\sum _{i=0}^{M-1}{w}_{i}r(i-k)\\ & =0\end{array}\end{array}$$

得到维纳滤波器中用于求解滤波器最佳参数的核心方程——维纳霍夫方程：

$$\begin{array}{c}\sum _{i=0}^{M-1}{w}_{oi}r(i-k)=p(-k),k=0,1,2,\dots ,M-1\end{array}$$

写为矩阵形式：

$$\begin{array}{c}\mathbf{R}{\mathbf{w}}_o=\mathbf{p}\end{array}$$

一般，由于噪声的存在，$\mathbf{R}$ 是非奇异的，所以最优参数为：

$$\begin{array}{c}{\mathbf{w}}_o={\mathbf{R}}^{-1}\mathbf{p}\end{array}$$

所以，在维纳滤波器第一阶段——最优参数计算阶段，需要知道两个值：

1. 输入信号$u(n)$的相关矩阵$\mathbf{R}$
2. 输入信号$u(n)$与期望响应$d(n)$的互相关向量$\mathbf{p}$

知道最优解${\mathbf{w}}_o$后，自然需要知道最优值$J_{min}(\mathbf{w})=J({\mathbf{w}}_0)$。

将(5)式写为矩阵形式：

$$\begin{array}{c}J(\mathbf{w})={\sigma }_d^2-{\mathbf{w}}^{\mathrm{H}}\mathbf{p}-{\mathbf{p}}^{\mathrm{H}}\mathbf{w}+{\mathbf{w}}^{\mathrm{H}}\mathbf{Rw}\end{array}$$

则

$$\begin{array}{c}\begin{array}{rl}{J}_{min}(w)=J(w_o)& ={\sigma }_d^2-p^H{\left(R^{-1}\right)}^{H}p-p^H{R}^{-1}p+p^H{\left(p^{-1}\right)}^{H}R{R}^{-1}p\\ & ={\sigma }_d^2-p^H{R}^{-1}p-p^H{R}^{-1}p+p^H{p}^{-1}p\\ & ={\sigma }_d^2-p^H{R}^{-1}p\\ & ={\sigma }_d^2-p^H{w}_0\end{array}\end{array}$$

至此，我们就通过最小均方误差准则，得到了维纳滤波器的最优参数（最优解）和最优值。

再介绍一下误差性能曲面的规范形式（暂未太理解）：

三、正交性原理

四、线性约束最小方差滤波器