A/B实验之置信检验（一）：如何避免误判 (I类) 和漏报 (II类)

`假设检验的依据：如何避免误判和漏报`

A/B实验系列相关文章（置顶）

1.A/B实验之置信检验（一）：如何避免误判和漏报
2.A/B实验之置信检验（二）：置信检验精要

引言

在数据驱动决策的时代，假设检验作为一种重要的统计方法，帮助我们在不确定性中做出明智的选择。无论是评估新推荐算法的效果，还是测试市场营销策略的成功与否，假设检验都是确保结论可靠性的关键步骤。本文将详细介绍假设检验的基础知识、常见误区及其在实际中的应用。

在这里插入图片描述

一、什么是假设检验？

假设检验是一种基于样本数据来推断总体参数的方法。其核心思想是在两种对立假设之间做出选择：原假设（H0）和备择假设（Ha）。原假设通常表示“无差异”或“无效应”，而备择假设则代表存在某种差异或效应。通过收集数据并计算统计量，我们可以决定是否有足够的证据拒绝原假设。

当然，让我们更详细地解释假设检验中的原假设 (H0) 和备择假设 (Ha)，并探讨它们在AB实验（例如推荐系统的性能测试）中的应用。

1. 基本概念

假设检验是一种统计方法，用来决定是否应该拒绝关于总体参数的某个声明。这个过程基于样本数据，并试图通过这些数据来推断总体的真实情况。它帮助我们评估一个假设是否合理，或者是否有足够的证据支持一个替代的假设。

在这里插入图片描述

1.1 原假设 (Null Hypothesis, H0)

定义: 原假设通常是关于“无效应”或“无差异”的声明，即我们想要测试的变化实际上对结果没有影响。在推荐系统的情境下，原假设可以是新算法与旧算法之间没有显著的性能差异。

示例: 在一个推荐系统的AB测试中，原假设可能是：“新推荐算法的点击率不高于当前使用的推荐算法。”

符号表示: $H_0: \mu_{\text{new}} = \mu_{\text{old}}$ ，这里 $\mu_{\text{new}}$ 和 $\mu_{\text{old}}$ 分别代表新旧推荐算法下的平均点击率。

1.2 备择假设 (Alternative Hypothesis, Ha)

定义: 备择假设是对原假设的对立面，表示存在某种效应或差异。在推荐系统的情境下，备择假设可以是新算法确实提高了性能。

示例: 对应于上面的例子，备择假设可以是：“新推荐算法的点击率高于当前使用的推荐算法。”

符号表示: $H_a: \mu_{\text{new}} > \mu_{\text{old}}$ 或者 $H_a: \mu_{\text{new}} \neq \mu_{\text{old}}$ （如果考虑双向检验）。前者称为单侧检验，后者称为双侧检验，取决于你关心的是改进还是任何方向上的变化。

2. 为什么需要这两个假设？

科学怀疑主义: 我们从认为变化不会带来效果开始（即接受原假设），除非有足够强的数据证据迫使我们改变这一观点。
逻辑对立: 两个假设必须相互排斥且完全覆盖所有可能性。这意味着如果一个假设被证明为假，则另一个必然为真。
决策框架: 它们提供了一个明确的决策框架，指导我们在数据分析后做出结论：是保持现状（不拒绝H0），还是采取行动（拒绝H0，接受Ha）。

3. 如何使用这两个假设进行决策？

设定显著性水平α: 这是我们愿意接受的最高误报率（Type I Error的概率）。通常选择0.05或0.01。
收集数据并计算检验统计量: 根据样本数据，计算出能够衡量两组间差异大小的统计量（如z-score或t-score）。
确定临界值或p值: 查找对应于α水平的临界值，或者直接计算p值，它是观察到的数据（或更极端数据）在原假设为真的条件下发生的概率。
比较并作出决定: 如果p值小于α，我们就拒绝原假设；否则，我们不能拒绝原假设。

3.1 核心概念 – 显著性水平

`显著性水平 (α) 是什么？`

简单来说：显著性水平（通常用α表示）是你愿意接受的“误判”风险。它就像是一个“容忍度”，告诉你在多大程度上你可以接受错误地认为新事物比旧事物更好，而实际上并没有区别。

在这里插入图片描述

`为什么需要设定这个“容忍度”？`

当你测试一个新的推荐算法时，你希望知道它是否真的比旧算法好。但是，有时候即使新算法并不真正更好，由于随机因素的影响，数据可能会让你觉得它更好。为了避免这种情况，你需要设定一个“容忍度”，也就是显著性水平α。

`设定α = 0.05意味着什么？`

如果你设定了α = 0.05，这意味着你允许自己有5%的机会犯错——也就是说，有5%的可能性你会错误地认为新算法更好，而实际上它并没有改进。换句话说，如果你做了100次这样的测试，大约会有5次你可能会得出错误的结论。

`如何使用α来做决定？`

当你做完实验并收集了数据后，你会计算出一个叫做p值的东西。p值告诉你，如果新算法和旧算法其实没有区别，那么你观察到的数据有多不可能发生。

如果p值小于或等于α（比如0.05），你就认为新算法确实更好，并且这种差异不是偶然发生的。
如果p值大于α，你就认为没有足够的证据证明新算法更好，可能只是随机波动造成的。

`举个🌰`

假设你在做一个AB测试，看看新推荐算法是否提高了用户的点击率。你设定了α = 0.05，然后根据实验结果计算出p值为0.03。因为p值（0.03）小于α（0.05），所以你可以说：“我们有足够的证据表明新算法确实提高了点击率，而且这种提高不太可能是偶然的。”

相反，如果p值是0.07，那么你就不能说新算法更好，因为你缺乏足够强的证据来支持这一点。

`总结`

设定显著性水平α就像是给自己设定了一个“安全线”。它帮助你控制错误判断的风险，确保你在做决策时有足够的信心。通过选择合适的α值，你可以在发现真实改进和避免错误结论之间找到平衡。

3.2 核心概念 – p值

`什么是p值？`

p值（p-value） 是衡量样本数据与原假设一致程度的一个指标。它表示的是，在原假设为真的情况下，观察到当前数据或更极端数据的概率。换句话说，p值告诉我们如果原假设是真的，那么我们看到的数据有多“异常”。

小的p值（如小于0.05）表明数据与原假设不一致的可能性较大，因此我们可能会拒绝原假设。
大的p值（如大于0.05）则意味着数据与原假设一致的可能性较大，因此我们没有足够的证据拒绝原假设。

`判别方法`

设定显著性水平α：通常设定为0.05或0.01，这决定了我们愿意接受的最大误报率（Type I Error）。
计算检验统计量：根据你的数据和检验类型（如t检验、z检验等），计算相应的检验统计量。
查找p值：
- 使用统计表：对于简单的检验，如z检验或t检验，可以使用统计表来查找对应的p值。
- 使用统计软件或编程语言：大多数现代统计软件包（如R, Python的SciPy库等）可以直接计算p值。
比较p值与α：如果p值小于或等于α，则拒绝原假设；否则，不能拒绝原假设。

`计算过程`

示例：单样本z检验
假设有一个样本数据，想要检验它的均值是否与已知总体均值有显著差异。我们将通过以下步骤计算p值：

数据准备

样本数据： $\text{data} = [52, 53, 54, 55, 56]$
已知的总体均值： $\mu = 50$
已知的总体标准差： $\sigma = 5$

步骤 1：计算样本均值

$\bar{x} = \frac{\sum \text{data}}{n} = \frac{52 + 53 + 54 + 55 + 56}{5} = 54$

步骤 2：计算z统计量

$\frac{\bar{x} - \mu}{\sigma / \sqrt{n}} = \frac{54 - 50}{5 / \sqrt{5}} = \frac{4}{5 / \sqrt{5}} = \frac{4}{2.236} \approx 1.79$

步骤 3：查找p值

可以使用标准正态分布表或编程语言来查找p值。这里我们使用Python中的scipy.stats.norm.cdf()函数来计算双侧检验的p值。

from scipy import stats

# 已知的z统计量
z_stat = 1.79

# 双侧检验的p值
p_value = 2 * (1 - stats.norm.cdf(abs(z_stat)))

print(f"z统计量: {z_stat}")
print(f"p值: {p_value}")

这段代码会输出：

z统计量: 1.79
p值: 0.0733

标准对照表类似下面：

在这里插入图片描述

步骤 4：解释

在这个例子中，p值约为0.0733。如果我们设定了显著性水平α = 0.05，那么p值大于α，所以我们不能拒绝原假设。这意味着根据当前数据，我们没有足够的证据证明样本均值与总体均值之间存在显著差异。

`总结`

p值表示在原假设为真的情况下，观察到当前数据或更极端数据的概率。
计算p值 涉及确定合适的统计检验、计算检验统计量、查找对应的p值，并将其与显著性水平α进行比较。
解释p值 帮助我们决定是否拒绝原假设，从而得出关于数据是否有统计显著性的结论。

二、常见的假设检验类型

在这里插入图片描述

t检验：用于比较两个独立样本的均值。
z检验：当样本量足够大或总体标准差已知时使用。
卡方检验（χ²）：用于分类变量之间的关系测试。
ANOVA（方差分析）：用于比较三个或更多组的均值。
非参数检验：如Mann-Whitney U检验、Kruskal-Wallis检验等，适用于非正态分布的数据。

三、Type I 和 Type II 错误

在这里插入图片描述

1. Type I Error (I型错误)

1.1 概念

Type I Error（I型错误），也称为误报（False Positive），是指在原假设实际上是正确的情况下，我们错误地拒绝了它。简单来说，就是“不该说有变化时却说了”。

1.2 判别方法

显著性水平α：我们通过设定显著性水平α来控制犯Type I Error的概率。α通常设定为0.05或0.01，这意味着我们愿意接受最高5%或1%的误报率。
p值：计算出的p值小于或等于α时，我们会拒绝原假设。如果p值很小，说明数据与原假设不一致的可能性较大，我们可能会犯Type I Error。

1.3 注意事项

降低α值：选择更低的α值（如从0.05降到0.01），可以减少犯Type I Error的风险，但同时也会使检测到真实效应变得更加困难。
权衡风险：降低Type I Error的风险可能会增加Type II Error的风险，因此需要根据具体情况权衡两者之间的关系。

1.4 举个🌰

假设你去医院做了一项血液检测，用来检查是否患有某种罕见疾病。医生根据检测结果告诉你，你的测试呈阳性，意味着你可能患上了这种疾病。然而，实际上你并没有患病。这就是一个Type I Error的例子，发生了误报—错误人为检测结果阳性，而实际上并没有。在统计学中，Type I Error就像是这个误报。它发生在我们根据数据得出结论说新事物（比如新的推荐算法）确实带来了改进，但实际上它并没有带来任何真正的改进。

2. Type II Error (II型错误)

2.1 概念

Type II Error（II型错误），也称为漏报（False Negative），是指在原假设实际上是错误的情况下，我们错误地接受了它。简单来说，就是“该说有变化时却没有说”。

2.2 判别方法

检验力（Power = 1 - β）：检验力是避免犯Type II Error的能力。高检验力意味着测试更有可能检测到真实存在的效果，从而减少了β值。检验力取决于样本量、效应大小、显著性水平α以及数据变异性等因素。
p值：如果p值大于α，我们不能拒绝原假设。此时，可能存在Type II Error的风险，因为我们可能错过了真实的效应。