核密度估计KDE和概率密度函数PDF（深入浅出）

- 1. 和密度估计（KDE）
- - 核密度估计的基本原理
  - 核密度估计的公式
  - 核密度估计的应用
  - Python中的KDE实现
  - - 示例代码
  - 结果解释
  - - 解释结果
  - 总结
- 2. 概率密度函数（PDF）
- - 概率密度函数（PDF）是怎么工作的：
  - 用图画来解释
  - - 解释这个图：
  - 问题解答：
  - 总结
- 3. 核密度估计（KDE）和概率密度函数（PDF）之间的关系
- - - 故事开始：
  - 第一种方法：概率密度函数（PDF）
  - 第二种方法：核密度估计（KDE）
  - 总结一下：
  - 问题解答：

1. 和密度估计（KDE）

KDE，全称为核密度估计（Kernel Density Estimation），是一种非参数方法，用于估计随机变量的概率密度函数。与传统的直方图不同，KDE能够提供一个更平滑和连续的密度估计，适用于更细致的分布分析。

核密度估计的基本原理

核密度估计通过对每个数据点应用一个核函数，并将这些核函数进行叠加来构建密度估计。核函数通常是一个对称的、非负的函数，具有单位面积。常见的核函数包括高斯核（Gaussian kernel）、均匀核（Uniform kernel）、三角核（Triangular kernel）等。

核密度估计的公式

给定样本数据 $\{x_1, x_2, \ldots, x_n\}$ ，核密度估计的公式为：
$\hat{f}(x) = \frac{1}{n h} \sum_{i=1}^{n} K\left(\frac{x - x_i}{h}\right)$
其中：

$\hat{f}(x)$ 是在点 $x$ 处的估计密度值。
$K$ 是核函数。
$h$ 是带宽（平滑参数），控制估计的平滑程度。带宽越大，估计越平滑；带宽越小，估计越细致。

核密度估计的应用

核密度估计在数据分析和统计建模中有广泛应用，特别是在探索性数据分析中，用于查看数据分布的形状和特性。

Python中的KDE实现

在Python中，SciPy和Seaborn库提供了便捷的核密度估计功能。以下是一个使用Seaborn和SciPy进行核密度估计的示例：

示例代码

import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import gaussian_kde
import seaborn as sns

# 生成一些示例数据
data = np.random.normal(0, 1, size=1000)

# 使用SciPy进行核密度估计
kde_scipy = gaussian_kde(data, bw_method=0.3)
x = np.linspace(min(data), max(data), 1000)
kde_values = kde_scipy(x)

# 使用Seaborn进行核密度估计和绘图
plt.figure(figsize=(10, 6))
sns.histplot(data, kde=True, stat="density", bins=30, label='Histogram with KDE', color='blue', alpha=0.6)
plt.plot(x, kde_values, color='red', lw=2, label='KDE (SciPy)')
plt.xlabel('Value')
plt.ylabel('Density')
plt.legend()
plt.title('Kernel Density Estimation')
plt.show()

结果解释

在这个示例中：

生成了一些服从正态分布的示例数据。
使用SciPy的gaussian_kde函数进行了核密度估计，并绘制了估计的密度曲线。
使用Seaborn的histplot函数绘制了包含KDE的直方图。

解释结果

核密度估计图展示了数据的平滑分布，与传统的直方图相比，KDE图更为连续和平滑，能够更好地反映数据的实际分布情况。

总结

核密度估计（KDE）是一种强大的工具，用于估计和可视化数据的概率密度函数。它通过平滑的数据分布提供了比直方图更细致的分布视图，在数据分析中非常有用。

2. 概率密度函数（PDF）

概率密度函数（PDF） 是用来描述连续随机变量在某个特定值附近的可能性的一种函数。它帮助我们理解数据是如何分布的。

想象一下你在一个游乐园里玩捞鱼游戏。

你有一个大水池，里面有很多小鱼，每条鱼的位置都不一样。
如果你想知道在某个特定位置附近有多少鱼，你可以用一个网在那个位置捞鱼。
如果在这个位置附近有很多鱼，那这个位置的“鱼密度”就很高。
如果只有几条鱼，那这个位置的“鱼密度”就很低。

概率密度函数（PDF）是怎么工作的：

表示密度：
- PDF 就像是一个“鱼密度”图。它告诉你在水池的每个位置，鱼的密度有多高。
- PDF 的值可以很大，表示这个位置附近的鱼很多。PDF 的值也可以很小，表示这个位置附近的鱼很少。
总面积为1：
- 虽然 PDF 的值可以很高，但整个水池的密度总和必须是1。这表示所有的鱼都在这个水池里。
计算概率：
- 如果你想知道在一个范围内捞到鱼的概率，你可以看这个范围内的“鱼密度”图，然后把这个范围内的密度值加起来。
- 比如，如果你想知道在水池左边1/4的地方捞到鱼的概率，你可以看这部分的“鱼密度”图，然后加起来。这就是PDF的积分。

用图画来解释

假设我们有一个简单的例子，水池里鱼的密度是这样的：
在这里插入图片描述

import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import norm

# 定义均值和标准差
mu = 0
sigma = 1

# 生成数据点
x = np.linspace(mu - 3*sigma, mu + 3*sigma, 1000)
pdf = norm.pdf(x, mu, sigma)

# 绘制正态分布的概率密度函数
plt.plot(x, pdf, 'r-', lw=2, label='PDF')
plt.fill_between(x, pdf, alpha=0.5, color='red')
plt.xlabel('位置')
plt.ylabel('密度')
plt.title('鱼密度图（概率密度函数）')
plt.legend(loc='best')
plt.show()