阅读 94

概率统计——三扇门游戏与贝叶斯定理

本文首发于公众号:TechFlow

在概率论的课本上有一个经典的问题,一直困扰我很久。有很多次我以为我想明白了,过了一段时间却又会糊涂。这个问题学过概率论的同学想必都知道,就是著名的三扇门问题。 说是之前在美国有一个著名的综艺节目,这个节目里有三扇关闭着的门。其中有两扇的后面是山羊,有一扇则放着一辆豪车。主持人会让嘉宾做出选择,嘉宾做出选择之后,主持人会打开其中错误的一扇门,询问嘉宾:伙计,你有一次更改选择的机会,你要使用吗? 节目的效果如何我们不谈,但是背后的数学问题却很有意思。我们更改或者不更改选择,究竟分别有多大的赢面呢?

我们从直觉来分析,我们更不更换答案应该不会影响。毕竟三扇门里有一个正确答案,主持人排除的是错误答案,也就是说正确答案就在剩下的两个门里。不管我们换不换选择,门后是大奖的概率都应该是二分之一才对。但是书上的答案是如果不更换的话,获奖的概率是三分之一,而更换的话,获奖的概率高达三分之二。

这个答案显然和我们的直觉违背,所以,我们去探究一下其中隐藏的深层次的数学原理就很有必要了。实际上,这也是概率论当中理解条件概率和贝叶斯公式非常重要的一个例题。

条件概率

条件概率大家都不陌生,我们在很早的时候就在数学课上学过。

简单来复习一下,假设在样本空间当中存在A、B两个事件。如果A、B两个事件之间没有任何关联,那么就认为它们是独立事件。比如说,如果把我今天早上喝了牛奶当做事件A,我这篇文章转发量超过10当做事件B。显然这两个事件没有任何关联,我喝不喝牛奶完全不会影响文章的转发量。那么就叫做这两个事件是独立事件:

P(AB)=P(A)P(B)

当然也会存在两个事件彼此有关联的情况,比如我早上喝牛奶和我上班有没有迟到很有可能就是关联事件。因为早上喝牛奶要花时间,很有可能会影响是否迟到。在这个时候P(AB)和两个事件都有关联,就不只是简单的乘积了。

如上图所示,当AB两个事件不是独立事件的时候。P(AB)指的就是AB两个事件的交集,可以认为成在B事件发生的前提下A事件发生,或者是A事件发生的前提下,发生B事件。

概率论上将某件事发生的前提下另一件事发生的概率称为条件概率,写作P(B|A)。

我们把前文的结论写成公式:

P(AB)=P(A)P(B|A)=P(B)P(A|B)\\
P(B|A)=\frac{P(AB)}{P(A)}=\frac{P(B)P(A|B)}{P(A)}

这个公式推导非常自然,不过用处却很大。因为很多时候条件概率并不直观,需要我们借助这个公式进行计算。

我们看一道书上的经典例题,巩固一下。

假设AB两个城市,A城市下雨的概率是20%,B城市下雨的概率是18%,两地都下雨的概率是12%,请问B下雨,A也下雨的概率是多少。

这题很简单,我们可以直接套用公式,显然P(A)=20\% ,\quad P(B)=18\% ,\quad P(AB)=12\%

那么:

P(A|B)=\frac{P(AB)}{P(B)}=\frac{12\%}{18\%}=\frac{2}{3}

全概率公式

我们介绍条件概率的时候,都是用的A和B两个事件说事。但实际生活当中彼此关联的事件并不止两个,如果多个事件都与事件A有关,那么这个时候的公式又该变成什么样呢?

我们把所有与A事件的有关的事件放入一组,称作B组,其中包含了n个事件。那么根据前面的条件概率,我们可以用B事件来表示A事件。

P(A)=\sum_{i=1}^nP(A|B_i)P(B_i)

这个公式被称为全概率公式,这个公式成立的前提是B事件组是所有与A事件有关的事件集合,也被称为完备事件组。

贝叶斯定理

这也是本篇文章的重头戏,在课本上贝叶斯定理只有一个简单的公式:

P(A|B)=\frac{P(A)P(B|A)}{P(B)}

其实就是我们上文当中根据条件概率推导得到的公式。如果只这么理解当然不错,但是这样只能理解其中很浅的一层意思。如果只理解到这一层,后面的先验、后验概率、最大似然就很难理解了。

我们接着看下一层理解,这一次,我们对全概率公式进行变形:

P(A)=\sum_{i=1}^nP(A|B_i)P(B_i)

那么,事件A发生事件Bi也发生条件概率为:

P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum_{j=1}^nP(A|B_j)P(B_j)}=\frac{P(A|B_i)P(B_i)}{P(A)}

这个公式看起来其貌不扬,但其实说明了结果和原因之间的联系。举个很简单的例子,假设A事件是汽车报警。那么导致A事件发生的原因有很多,比如行人不小心碰撞,偷车贼来盗窃,或者是警报故障。这些导致A发生的原因的集合,就是B事件组。

如果有一天晚上我们听到了警报声,我们要做的其实就是要根据事件A来猜测发生事件A的原因,也即是推算P(B_i|A)

因为是在晚上,所以行人碰撞的概率很低,所以大概率是因为偷车贼。这个时候,我们就需要起床查看。如果是在白天,则相反,行人碰撞的概率很高,偷车贼作案的可能性很小,我们就可以置之不理。

也就是说事件A是我们可以直接观测的事件,而事件B则是事件发生背后存在的原因。贝叶斯公式就是一个寻果溯因的工具,这才是贝叶斯定理真正伟大的地方。

在统计学当中,通常将可以直接观测的事件发生概率称为先验概率,言下之意就是我们可以直接通过实验测量的概率。而发生这个概率背后的原因称为后验概率,也就是说是我们需要通过先验概率来计算的概率。最大似然估计,就是根据后验概率的函数来计算使得发生概率最大时的参数。

最后,我们回到一开始的那个例子,尝试着用贝叶斯定理算出结果。

我们用1,2,3分别代表三扇门,显然豪车可能出现在它们当中任一扇后面。为了简化表达,我们假设嘉宾一定选择第一扇门打开,主持人打开了第二扇门。

我们定义ABCD四个事件,ABC三个事件分别代表三扇门后面是豪车,D事件表示主持人打开第二扇门的概率。

P(A)=P(B)=P(C)=\frac{1}{3}

直觉上我们觉得 P(D)=\frac{1}{2}

不过我们并不确定。没关系,我们可以来推算一下。

首先:

P(D)=P(A)P(D|A)+P(B)P(D|B)+P(C)P(D|C)

P(D|A)=\frac{1}{2}, P(D|B)=0, P(D|C)=1

这点也很容易看出来。因为如果奖品出现在第二扇门后面,主持人一定不会打开第二扇门,所以 P(D|B)=0 。同理,如果奖品在第三扇门后面,主持人一定打开第二扇。所以P(D|C)=1 。

代入,可以算出来:P(D)=\frac{1}{2}

接下来,我们要算的是 P(A|D) 和 P(C|D) 。

根据贝叶斯定理:

P(A|D)=\frac{P(A)P(D|A)}{P(D)}=\frac{\frac{1}{3}\frac{1}{2}}{\frac{1}{2}}=\frac{1}{3}

P(C|D)=\frac{P(C)P(D|C)}{P(D)}=\frac{\frac{1}{3}}{\frac{1}{2}}=\frac{2}{3}

通过种种计算,我们终于得到了正确的结果。但是即使我们理解了贝叶斯原理,理解了这些计算过程,还是解答不了我们心中的疑惑,为什么这和我们的直观感受不一样呢?为什么答案不是1 /2?

这个问题其实很简单,因为我们的思维被限制了。我们只关注剩下没有打开的两扇门上了,完全忽略了开启的门带来的影响。

假设我们换个游戏,还是三扇门,还是一个奖品,还是随机摆放。假设某个人一次可以选择一扇或者两扇门。那么这这两个选项获奖的概率是多少?显而易见,选择两扇门的概率当然是2/ 3。这个时候,我们打开两扇门中一定是错误的那一扇,结果会发生变化吗?当然也不会。

同样的,当主持人询问是否要更换选择的时候,其实就是问我们是要选择一扇门还是两扇门。如果我们不变更选择,就是选择了一扇门。而如果我们变更选择,其实是相当于一开始的时候选择了两扇门。两扇门当中一定有一个错误答案,将它排除并不会影响最终的结果。

在主持人打开那扇门之前,三者的概率是均等的。当门开了之后,我们都知道那扇门的概率发生了塌缩,塌缩成了0。它身上缩小的概率,其实并不是均等地分摊在剩下的两扇门上。理解了这一点,这个问题也就迎刃而解了。

程序员的数学2

概率论与数理统计(浙江大学第四版)

如果觉得有所收获,那就扫码关注下吧:

关注下面的标签,发现更多相似文章
评论