前边在文章透彻理解最大似然估计, 阐述如何理解最大似然进行参数估计, 本文将讨论使用贝叶斯推理进行参数估计. 我还将展示如何将此方法视为最大似然的概括, 以及在何种情况下这两种方法是等价的.
贝叶斯定理
在介绍贝叶斯推理之前, 有必要理解贝叶斯定理. 贝叶斯定理真的很酷. 使它有用的是它允许我们使用我们已有的一些知识或信念 (通常称为先验) 来帮助我们计算相关事件的概率. 例如, 如果我们想要在炎热和阳光明媚的日子里找到销售冰淇淋的概率, 贝叶斯定理为我们提供了工具, 可以使用先前的知识, 了解在任何其他类型的一天销售冰淇淋的可能性(下雨, 刮风, 雪等). 我们稍后会详细讨论这个问题, 所以如果你还没理解它, 请不要担心.
数学定义
数学贝叶斯定理定义为:
其中 A 和 B 是事件, 其中 P(A|B)是在 B 发生的情况下 A 发生的可能性. 和 P(A)和 P(B)分别是事件 A 和事件 B 的边际概率.
举例
数学定义通常会觉得太抽象和可怕, 所以让我们试着通过一个例子来理解这一点. 我在介绍性博客文章中给出的一个例子是从一包传统的扑克牌中挑选一张牌. 包装中有 52 张卡片, 其中 26 张为红色, 26 张为黑色. 如果我们知道卡片是红色的, 那么卡片为 4 的概率是多少?
为了将其转换为我们在上面看到的数学符号, 我们可以说事件 A 是选择的卡片是 4, 事件 B 是卡片是红色的. 因此, 在我们的例子中, 上式中的 P(A | B)是 P(4 | red), 这是我们想要计算的. 我们之前已经得出这个概率等于 1/13(有 26 张红牌, 其中 2 张是 4), 但让我们用贝叶斯定理来计算.
我们需要在等式右侧找到要求的概率. 他们是:
P(B | A)= P(红色 | 4)= 1/2P(A)= P(4)= 4/52 = 1/13P(B)= P(红色)= 1/2 当我们将这些数字代入贝叶斯定理的方程时, 得到 1/13, 这是我们期待的答案.
贝叶斯定理如何允许我们将先验信念纳入其中?
上面我提到贝叶斯定理允许我们结合先验信念, 但很难看出它如何通过查看上面的等式来实现这一点. 那么让我们看看我们如何使用上面的冰淇淋和天气示例来做到这一点.
让 A 代表我们出售冰淇淋的事件, B 代表天气事件. 那么考虑到天气的类型, 我们可能会问在任何一天出售冰淇淋的概率是多少? 在数学上, 这被写为 P(A = 冰淇淋销售 | B = 天气类型), 其等同于等式的左手侧.
右侧的 P(A)是已知的先验表达式. 在我们的例子中, 这是 P(A = 冰淇淋销售), 即出售冰淇淋的 (边际) 概率, 无论外面的天气类型如何. P(A)被称为先验, 因为我们可能已经知道出售冰淇淋的边际概率. 例如, 我可以查看一些数据, 该数据显示, 在某个商店的某个商店里, 有 30 个人实际购买了冰淇淋. 所以我的 P(A = 冰淇淋销售)= 30/100 = 0.3, 在我了解天气之前. 这就是贝叶斯定理允许我们合并先验信息的方法.
贝叶斯推理
定义
现在我们知道贝叶斯定理是什么以及如何使用它, 我们可以开始回答什么是贝叶斯推理的问题?
首先,(统计)推断是从数据中推导出关于总体或概率分布的属性的过程. 从一组观察到的数据点, 我们确定了平均值的最大似然估计值.
因此, 贝叶斯推断只是使用贝叶斯定理从数据中推导出有关种群或概率分布的属性的过程.
来源: http://www.bubuko.com/infodetail-3105407.html