概率、似然、极大似然估计
- 概率:特定情况下某事件发生的可能性(参数已知,事件发生的可能性)
- 似然:根据已经确定的结果推测产生这个结果的可能的环境(事件发生的可能性已知,参数未知,推测参数)
- 极大似然估计
概率:特定情况下某事件发生的可能性(参数已知,事件发生的可能性)
如,在某件事情发生前,根据环境中的参数预测某件事情发生的概率
参数: 微风,28 °,晴天 --> 事件发生概率:p(晾衣服) = 0.9
抛硬币:p(正面)=0.5,p(反面)=0.5 这个 0.5 只有在事件发生之前是有意义的
似然:根据已经确定的结果推测产生这个结果的可能的环境(事件发生的可能性已知,参数未知,推测参数)
抛硬币:随机抛硬币 1W 次,结果 8000 次正面,2000 次反面,推测硬币具体参数,根据结果判断事物本身性质的过程就是似然。
假设 x 是事件发生的结果,
θ
\theta
θ是环境参数,
p
(
x
∣
θ
)
p(x|\theta)
p(x∣θ)为在环境参数
θ
\theta
θ下事件
x
x
x发生的概率。 似然
L
(
θ
∣
x
)
L(\theta|x)
L(θ∣x)为已知观察结果是 x 的情况下,去推断
θ
\theta
θ。
p 是关于 x 的函数
L 是关于
θ
\theta
θ的函数
极大似然估计
利用已知的样本标记结果,反推出最大概率导致这些样本结果出现的模型参数
已知观察数据 ——推断——> 模型参数
例子: 已知事件结果,推测参数
θ
\theta
θ是什么的情况下事件 x 的发生概率最大,就是极大似然估计
枚举
θ
\theta
θ的值,画出
L
(
θ
)
L(\theta)
L(θ)的图像,L 被称为
θ
\theta
θ的似然函数
最大似然估计就是要求
θ
\theta
θ为多少时 L 取值最大。
机器学习中,最大似然估计就是根据已有的数据(相当于 x),学习到相应的参数分布(相当于计算 θ \theta θ)【对应机器学习的训练】