还记得我作为暑期实习生第一次在 CERN 海外实习时, 大多数人都在讨论, 要超过「5-sigma」阈值 (这意味着 p 值为 0.0000003) 才能确认发现了希格斯玻色子.
那时我对 p 值, 假设检验甚至统计显著一无所知.
直到进入数据科学领域后, 我终于意识到了 p 值的含义, 以及在某些实验中, p 值是如何成为决策工具的一部分的.
因此, 我决定在这篇文章中解释什么是 p 值以及如何在假设检验中使用 p 值. 希望能帮你更好, 更直观地理解 p 值.
本文共分四个部分, 从假设检验到理解 p 值, 以及根据 p 值指导我们的决策过程. 我强烈建议你仔细阅读全文, 以便详细地了解 p 值:
假设检验;
正态分布;
什么是 p 值;
统计显著性.
假设检验
假设检验
在讨论 p 值的意义之前, 我们先理解一下假设检验. 在假设检验中, 常用 p 值确定结果的统计显著性.
我们的最终目标是确定结果的统计显著性. 而统计显著性建立在这 3 个简单概念之上:
假设检验
正态分布
p 值
假设检验是用来通过一组数据检验针对总体的声明 (零假设) 有效性的. 如果零假设不成立, 我们就会相信备择假设.
换句话说, 我们需要提出声明(零假设), 并用样本数据来检验声明是否有效. 如果声明是无效的, 就选择备择假设. 就这么简单.
而要知道声明是否有效, 就要用 p 值来衡量证据的强度, 从而了解到它是否有统计显著性. 如果证据支持备择假设, 那就拒绝零假设并接受备择假设. 后面的章节中会解释这些内容.
我们举个例子来更清晰地说明这一概念, 这个例子会贯穿全文同时说明其他概念.
假设某个披萨店声称, 他们的平均配送时间小于等于 30 分钟, 但你认为他们的配送时间不止 30 分钟. 所以你做了假设检验, 对配送时间随机采样来检验这一说法:
零假设 -- 平均配送时间小于等于 30 分钟;
备择假设 -- 平均配送时间大于 30 分钟.
这里的目标是确定样本数据中的证据能更好地支持哪种假设(零假设或备择假设).
本例中用的是单尾检验, 因为我们只想知道平均配送时间是否大于 30 分钟.
因为配送时间小于等于 30 分钟都是可以接受的, 因此我们忽略另一个方向的可能性. 这里想要检验的是平均配送时间是否会大于 30 分钟. 换句话说, 我们想知道披萨店是否在某种角度上骗了我们.
假设检验的常用方法之一是 Z 检验. 这里我们不讨论细节, 因为我们想要先理解表面的内容, 然后再深入.
正态分布
平均值为 μ 标准差为 σ 的正态分布
正态分布是用来观察数据分布的概率密度函数.
正态分布有两个参数 -- 平均值 (μ) 和标准差(σ).
均值是分布的集中趋势. 它决定了正态分布峰值的位置. 标准差是衡量可变性的标准, 它决定了均值到值的下降幅度.
正态分布通常和 68-95-99.7 规则 (上图所示) 相关:
68% 的数据在平均值 (μ)±1 个标准差(σ) 内;
95% 的数据在平均值 (μ)±2 个标准差(σ) 内;
99.7% 的数据在平均值 (μ)±3 个标准差(σ) 内.
还记得文章开头说的发现希格斯玻色子的「5-sigma」阈值吗? 在科学家证实发现希格斯玻色子之前, 5-sigma 约为数据的「99.9999426696856%」. 设置这么严格的阈值是为了避免潜在的错误信号.
好了. 现在你可能想知道「正态分布是如何应用在假设检验中的」.
因为是用 Z 检验进行假设检验的, 因此要计算 Z 分数(用于检验统计量), 这是数据点到平均值的标准偏差数. 在本文的例子中, 每个数据点都是收集到的披萨配送时间.
计算每个数据点的 Z 分数的公式.
对每个披萨配送时间点计算 Z 分数, 并绘制出标准正态分布曲线时, x 轴上的单位从分钟变成了标准差单位, 因为已经通过计算 (变量减去平均值再除以标准差, 见上述公式) 将变量标准化了.
标准正态分布曲线是很有用的, 因为我们可以比较测试结果和在标准差中有标准单位的「正态」总体, 特别是在变量的单位不同的情况下.
Z 分数的标准正态分布
Z 分数可以告诉我们整个数据相对于总体平均值的位置.
我喜欢 Will Koehrsen 的说法 -- Z 分数越高或越低, 结果就越不可能偶然发生, 结果就越有可能有意义.
但多高 (低) 才足以说明结果是有意义的呢?
这就是解决这个难题的最后一片拼图 --p 值. 根据实验开始前设定的显著水平 (alpha) 检验结果是否具有统计学意义.
什么是 P 值
与其用维基百科给出的定义来解释 p 值, 不如用文中的披萨配送时间为例来解释它.
对披萨配送时间随机采样, 目的是检查平均配送时间是否大于 30 分钟. 如果最终的结果支持披萨店的说法(平均配送时间小于等于 30 分钟), 那就接受零假设. 否则, 就拒绝零假设.
因此, p 值的工作就是回答这个问题:
如果我生活在披萨配送时间小于等于 30 分钟 (零假设成立) 的世界中, 那我在真实世界中得到的证据有多令人惊讶?
p 值用数字 (概率) 回答了这一问题.
p 值越低, 证据越令人惊讶, 零假设越荒谬.
当零假设很荒谬的时候还能做什么? 可以拒绝零假设并转而选择备择假设.
如果 p 值低于之前定义的显著水平(人们一般将它称为 alpha, 但我将它称之为荒谬阈值 -- 别问为什么, 我只是觉得这样更容易理解), 那么就可以拒绝零假设.
现在我们理解了 p 值是什么意思. 接下来把 p 值用到文中的例子中.
现在已经抽样得到了一些配送时间, 计算后发现平均配送时间要长 10 分钟, p 值为 0.03.
这意味着在披萨配送时间小于等于 30 分钟 (零假设成立) 的世界中, 由于随机噪声的影响, 我们有 3% 的概率会看到披萨配送时间延长了至少 10 分钟.
p 值越低, 结果越有意义, 因为它不太可能是由噪声引起的.
大多数人对于 p 值都有一个常见的误解:
p 值为 0.03 意味着有 3%(概率百分比)的结果是偶然决定的 -- 这是错误的.
人们都想得到确切的答案(包括我), 而这也是我在很长时间内都对 p 值的解释感到困惑的原因.
p 值不能证明任何事. 这只是一种根据惊讶程度做出合理决策的基础方法.
Cassie Kozyrkov
我们是如何用 0.03 的 p 值来做出合理决策的(重点):
想象我们生活在平均配送时间小于等于 30 分钟的世界 -- 因为我们信任披萨店(我们最初的信念)!
分析收集的配送时间样本后, p 值为 0.03, 低于 0.05 的置信水平(假设在实验之前就设置好了), 因此可以说结果是具有 * 统计显著性 * 的.
因为我们一直相信披萨店可以在 30 分钟内配送披萨, 现在需要考虑的是这一信念是否仍然有意义, 因为结果告诉我们, 披萨店没能兑现承诺, 而且结果是具有统计学意义的.
那该怎么办? 我们先试着用各种方法使初始信念 (零假设) 成立. 但是因为披萨店的口碑越来越差, 并且经常找导致配送延迟的借口, 我们自己都觉得再相信披萨店是很可笑的事情, 因此, 我们决定拒绝零假设.
最终, 我们做出了不再从这家披萨店买披萨的合理决定.
到现在为止, 你可能已经注意到了, 在上面的例子中, p 值不能证明或决定任何事.
在我看来, 当结果有统计学意义时, p 值可以作为挑战初始信念 (零假设) 的工具. 在我们认为自己的信念荒谬 (假设 p 值表明结果具有统计显著性) 的那一刻, 就放弃了自己的初始信念 (拒绝零假设) 并做出了更合理的决定.
统计显著性
这是最后一步, 将所有内容放在一起, 并检验结果是否有统计学意义.
只有 p 值是不够的, 还要设定阈值(即显著水平 --alpha). 为了避免偏差, 实验开始之前就应该设定 alpha. 如果观测的 p 值小于 alpha, 那就可以得出结论 -- 结果具有统计显著性.
经验法则一般将 alpha 设定为 0.05 或 0.01(同样, 值取决于你的问题).
如上文所述, 假设在实验开始前将 alpha 设置为 0.05, 得到的结果具有统计显著性, 因为 p 值 (0.03) 小于 alpha.
为便于参考, 整个实验的基本步骤如下:
陈述零假设;
陈述备择假设;
确定 alpha 值;
找到和 alpha 水平相关的 Z 分数;
根据公式计算检验统计量;
如果检验统计量的值比 alpha 水平的 Z 分数小(或 p 值小于 alpha 值), 拒绝零假设. 否则, 接受零假设.
步骤 5 计算检验统计量的公式.
来源: http://www.tuicool.com/articles/qui26fI