一、数学基础
先验概率(Prior Probability):
-
先验概率是在考虑任何新观测数据之前,基于先前的知识或信仰,对事件发生的概率的初始估计。这是对事件的主观先验信仰或经验的量化体现。
-
记作 P(A),表示事件 A 在考虑新的观测数据之前的概率。先验概率可以基于领域专家的经验、历史数据或任何相关信息。
🌍先验概率,就是由以往的数据分析所得。
后验概率(Posterior Probability):
-
在观测到新数据之后,通过贝叶斯定理计算得到的更新概率,即在考虑了先验概率的基础上,考虑新的观测数据后事件发生的概率。
-
记作 P(A|B),表示在给定观测数据 B 的情况下,事件 A 发生的概率。这是基于新的数据调整过的概率。
🌍后验概率,在得到信息之后重新加以修正得到的概率。
二、贝叶斯决策论
2.1 贝叶斯定理
其中:
- P(A∣B) 是后验概率,表示在给定观测到 B 的情况下,事件 A 发生的概率。
- P(B∣A) 是似然度,表示在事件 A 发生的情况下观测到 B 的概率。
- P(A) 是先验概率,表示在考虑观测数据 B 之前事件 A 发生的概率。
- P(B) 是边缘似然度,表示观测到数据 B 的概率。
-
先验概率 P(A): 在考虑观测到任何新数据 B 之前,我们对事件 A 的初始信仰,即在没有新证据的情况下,事件 A 发生的概率。
-
似然度 P(B∣A): 在事件 A 发生的条件下,观测到数据 B 的概率。这描述了事件 A 对观测数据 B 的影响。
-
边缘似然度 P(B): 观测到数据 B 的概率,考虑所有可能的事件。它是一个归一化因子,确保后验概率 P(A∣B) 在所有可能的事件 A 下加和为1。
-
后验概率 P(A∣B): 在观测到数据 B 之后,事件 A 发生的概率。这是通过将先验概率与新的证据(似然度)结合起来得到的。
2.2 贝叶斯决策论
【贝叶斯决策论】:是一种基于贝叶斯统计学的决策方法,它通过考虑先验概率、似然度以及决策损失来做出最优决策。这种方法可以应用于各种决策问题,包括分类、回归和其他决策场景。
【贝叶斯决策】: 在贝叶斯决策理论中,我们希望选择那个最小化总体期望损失的决策。决策损失的期望值通过对所有可能状态的加权平均来计算,其中权重是先验概率。
🌍我们的任务是寻找一个判定标准,以最小化总体期望损失。
决策过程:
-
计算后验概率: 使用贝叶斯定理计算在给定观测数据的情况下,每个可能状态的后验概率。
-
计算期望损失: 对于每种可能的决策,计算总体期望损失。
-
选择最小化期望损失的决策: 选择那个使期望损失最小的决策,即选择总体期望损失最小的决策。