什么是AB测试？

AB测试是一种常用的数据分析方法， 时dou会犯一些错误，下面就是一些常见错误和解决方法。

常见错误一：数据分割不当

这是多重比较问题的另一个例子：「我的A/B测试不显著，所以呢我将在设备上对数据进行分段以获得显著后来啊」。在进行数据分割时必须非常小心。说实在的，你比较的片段越多，后来啊中出现错误的几率就越大，泰酷辣！。

常见错误二：没有明确的目标

「没有想法， 你只是一个有数据的人 」

常见错误三：过度解读p值

使用此公式，你到头来Ke以计算两个组的 % 置信区间跳出率：

常见错误四：忽视置信区间

在 % 的统计Neng力、% 的显著性阈值和 % 的基准率，当检验被认为是阳性时我们只有 /=% 的机会是真阳性，而不是 %，还行。。

常见错误五：测试设计不合理

Ru果不Neng证明B优于A，则选择传递置信区间而不是原始增量。为了说明这一点，我们以A/B测试为例：，优化一下。

常见错误六：没有与利益相关者沟通

不靠谱。 经验 ：与利益相关者确定测试前的阈值和相关行动。

常见错误七：过度依赖数据

靠谱。 多重比较问题的另一个例子是：「我的A/B测试在转换率、平均购物篮和跳出率上dou没有显著后来啊。但这对每类购物篮的数量来说是hen重要的!Ru果你观察足够多的指标， 你到头来会发现其中一个指标碰巧显示了一个重要的后来啊：

常见错误八：忽视统计Neng力

开倒车。 其中 p 是观察到的组跳出率，n 是池样本大小，zα 是对应于置信水平 α 的 z 值。你Ke以在这里找到通常置信水平的 z 值。

常见错误九：没有持续测试

经验 ：不要为了达到统计显著性而分割你的数据。

常见错误十：没有校准测试系统

测试所观察到的增量允让你Ke以计算统计显著性， 但将观察到的增量视为特征带来的实际增量是错误的， 请大家务必... 这通常需要geng多的用户或会话。

在分析A/B测试后来啊时出错的风险非常高，而在测试之后所Zuo的决策对你的公司来说至关重要。所以呢， 你应该对给到你的A/B测试后来啊持怀疑态度，特别是当这个后来啊来自于一个对取得积极后来啊有强烈兴趣的人时尤其如此。