> 文章列表 > 贝叶斯派 先验分布、后验分布、似然分布、似然估计,通俗解释

贝叶斯派 先验分布、后验分布、似然分布、似然估计,通俗解释

贝叶斯派 先验分布、后验分布、似然分布、似然估计,通俗解释

先验分布、后验分布、似然分布三个应该在一起,似然估计应该分开。

前三个一起出现在贝叶斯公式,
P(θ∣X)=P(X∣θ)P(θ)P(X)P(\\theta|X)=\\frac{P(X|\\theta)P(\\theta)}{P(X)}P(θX)=P(X)P(Xθ)P(θ)

θ\\thetaθ是分布参数XXX是所见数据
P(θ∣X)P(\\theta|X)P(θX)是后验,即见过数据XXX影响后的分布;
P(θ)P(\\theta)P(θ)是先验,没受XXX影响前的分布;
P(X∣θ)P(X|\\theta)P(Xθ)是似然,即在已知分布参数θ\\thetaθ下,度量生成某个样本/事件的分布

===================================
而后面的似然估计,是参数估计的思想,是求参的思想。一般都是极大似然估计,也就是怎样改变参数才能使得分布的结果更加符合所观测的数据(或者说训练数据),而具体的方法有有:

  1. 贝叶斯估计,也就是上述的朴素贝叶斯
  2. ( 解析解的)极大似然估计,一般求解是:

求最大似然函数估计值的一般步骤:
(1)写出似然函数;
(2)对似然函数取对数,并整理;
(3)求导数,令导数为0,得到似然方程;
(4)解似然方程,得到的参数即为所求;

  1. 期望最大(EM)方法,即没办法求解析解的参数估计
  2. 以及很多深度学习加持的模型