贝叶斯学派和频率学派

Posted on | In | Views:

概率和统计

概率和统计并不是一个东西，概率是已知模型，求观测值出现的可能性。而统计是已知多个观测值，求概率符合的模型（分布）和参数。切换到机器学习，统计是训练模型阶段，而概率是inference阶段。

MAP（Maximum A Posteriori Estimation ）和MLE (Maximum Likelihood Estimation)

MAP和MLE都是统计的过程，分别代表着统计里面的两个学派，贝叶斯学派和频率学派。以抛硬币为例，假如小明抛十次硬币分别出现2次正面和8次反面，那么按照两种学派，我们会得到什么样的统计结果呢：

  • 频率学派
    频率学派认为，由于制造工艺不稳定，这个硬币抛出正面的概率虽然不知道，但是一定是一个固定的值，毕竟就这一个硬币。记这个抛正面的概率为p，那么当p=0.2的时候，是最可能出现这样的结果的。这就是频率学派的看家内功最大似然法。

  • 贝叶斯学派
    贝叶斯学派认为，p是一个随机变量，但是应该是符合某种分布的，一般来讲硬币应该均匀的，因此p应该在0.5附近波动，虽然说p=0.2的时候最可能出现抛出的结果，但是p=0.3的时候也有可能出这种结果啊，只不过概率相对小一点而已。为什么贝叶斯学派会争这一点呢，因为贝叶斯学派认为，p本身的概率也是要考虑进去的，p=0.2本身就是件小概率事件，即使P(A|p=0.2)概率最大，也不代表概率最大。
    贝叶斯学派这种雨露均沾的方法难点就在于，p的分布也是很难得到的，即使得到，要想计算在没有计算机的年代也是非常辛苦的。(计算机时代出现了类似蒙特卡洛之类的估计方法)。MLE可以看做是认为P(p)是均匀分布的MAP，这时候它就完全不需要考虑P(p)的概率分布了。

    至于谁对谁错？至今都还没有个定论~

0%