简单理解贝叶斯公式

引例

一个村子，三个小偷：A1小张，A2小英，A3小郑。事件B为村子发生失窃。已知小张去偷东西成功的概率为0，小英去偷东西成功的概率是1/2，小郑去偷东西成功的概率是1。每次只能有一个人去偷窃，求P(B)

分析

由题目我们知道，三个人去偷东西的概率是都是 $\frac{1}{3}$ ，所以我们有：

P(B|A_1)=0, P(B|A_2)=\frac{1}{2}, P(B|A_3)=1

求解

注意到： $A_1,A_2,A_3$ 是互斥的，又由乘法公式： $P(AB)=P(A)P(B|A)$ ，所以我们有：

P(B)=P(BS)=P(B\bigcap(A_1\bigcup A_2\bigcup A_3))\\=P(BA_1\bigcup BA_2 \bigcup BA_3 )=P(BA_1)+P(BA_2)+P(BA_3)\\=P(A_1)P(B|A_1)+P(A_2)P(B|A_2)+P(A_3)P(B|A_3)\\=\frac{1}{3}*0+\frac{1}{3}*\frac{1}{2}+\frac{1}{3}*1=\frac{1}{2}

所以 $P(B)=\frac{1}{2}$

总结

求解过程，我们运用到了全概率公式：

$P(B)=P(A_1)P(B|A_1)+P(A_2)P(B|A_2)+P(A_3)P(B|A_3)$

其中，B是试验E的一个事件， $A_1,A_2,A_3$ 是一个完备事件组。全概率公式相当重要，是我们推导贝叶斯公式的基础。

贝叶斯公式

问题

某一天，村子一个人大喊：失窃啦！！！然后警察来了。一共有3个嫌疑人：A1小张，A2小英，A3小郑。警局已经对他们的偷窃能力有备案：小张去偷东西成功的概率为0，小英去偷东西成功的概率是1/2，小郑去偷东西成功的概率是1。试问：这三人中，与这次失窃案件有关的概率是多少。

分析

这个问题和引例有一点不同，引例是已知3人的偷窃能力，求村子失窃的概率。而这个问题是已知3人的偷窃能力，和村子失窃的概率，求每个人去偷窃的概率。这就是所谓的逆事件概率，贝叶斯公式需要解决的问题。

求解

在偷窃发送之前，我们认为：三个人去偷窃的概率都是一样的(这是我们的主观感受)。故，我们有：

$P(A_1)=P(A_2)=P(A_3)=\frac{1}{3}$

$P(B) = \frac{1}{2}$

$P(B|A_1)=0, P(B|A_2)=\frac{1}{2}, P(B|A_3)=1$

我们需要求的是： $P(A_1|B), P(A_2|B), P(A_3|B)$ ，应用全概率公式，条件概率公式与乘法公式，有：

$P(A_{1}|B) = \frac{P(A_1B)}{P(B)} = \frac{P(A_1)P(B|A_1)}{ \sum_{i=1}^{3} P(A_i)P(B|Ai)}=\frac{\frac{1}{3} * 0}{\frac{1}{2}}=0$

$P(A_{2}|B) = \frac{P(A_2B)}{P(B)} = \frac{P(A_2)P(B|A_2)}{ \sum_{i=1}^{3} P(A_i)P(B|Ai)}=\frac{\frac{1}{3} * \frac{1}{2} }{\frac{1}{2}}=\frac{1}{3}$

$P(A_{3}|B) = \frac{P(A_3B)}{P(B)} = \frac{P(A_3)P(B|A_3)}{ \sum_{i=1}^{3} P(A_i)P(B|Ai)}=\frac{\frac{1}{3} * 1 }{\frac{1}{2}}=\frac{2}{3}$

所以，最大嫌疑人是小政。

总结

这个例子，就运用到所谓的贝叶斯公式啦：

$P(A_{i}|B) = \frac{P(A_iB)}{P(B)} = \frac{P(A_i)P(B|A_i)}{ \sum_{i=1}^{n} P(A_i)P(B|Ai)}$

$P(A_{i})$ 就是所谓的先验概率，而 $\frac{P(B|A_{i})}{ \sum_{i=1}^{n} P(A_i)P(B|Ai)}$ 就是后验概率。

为什么这样子去叫呢

在失窃发送之前，我们认为3个人去偷窃的概率都是1/3。但是失窃发送后，由于每个人的偷窃能力不同，我们预判谁去偷窃的概率就会发生变化。这个例子中，先验概率 $P(A_i) = \frac{1}{3}$ 。先验概率往往都是我们的主观映像：在失窃发送之前，我们认为所有人去偷窃的概率都是一样的。而后验概率是什么呢？因为每个人偷窃的成功率不同，所以偷窃发生后，到底谁去偷窃的概率也就发生了变化。所以后验概率就是一个调整因子，当一件事件发生后，对原事件发生的概率产生了影响。
贝叶斯公式解决了什么问题

贝叶斯解决的是逆向概率的问题。什么叫逆向概率呢？比如在村子失窃的例子中，正向概率就是：已知每个人的偷窃能力，求村子失窃的概率。

而逆向概率就是：已知村子失窃的概率和每个人的偷窃能力，偷窃事件发生了，然后求每个人与这起偷窃案件相关的概率。
贝叶斯公式有哪些应用呢

贝叶斯公式真正被应用起来，是在其发表一百多年后了。为什么一开始贝叶斯公式不背重视呢？因为加入了先验概率，而先验概率是我们的主观映像，传统的概率学认为，概率统计是不能被主观引导的，这就导致了贝叶斯公式不被重视。

后来，人们逐渐发现了贝叶斯公式大有用处，并且将其广泛应用与天气预报，垃圾邮件处理等一系列的问题之中。贝叶斯公式也是机器学习中及其重要的模型。