电商落地页 AB 实验：数据驱动的决策如何为公司避免一次无效上线

weixin_58358412 · 2026-06-28 14:22:20 发布

某电商网站为提升用户转化率，设计了一版全新的商品落地页。产品团队希望用数据回答一个核心问题：新页面是否比旧页面更能促使用户下单？ 如果不能证明新页面效果更好，上线不仅浪费开发资源，还可能损害用户体验。本文借助python3.14实现。

本数据集来自 Kaggle 的 Ecommerce AB Testing 2022 Dataset，包含约 29 万条用户实验记录，字段如下：

字段	含义	取值
`user_id`	用户唯一标识	整数
`timestamp`	实验时间戳	时:分.秒
`group`	实验分组	`control`（对照组，旧页面） / `treatment`（实验组，新页面）
`landing_page`	实际看到的页面	`old_page` / `new_page`
`converted`	是否转化（下单）	0（未转化）/ 1（已转化）
`country`	用户所在国家	US / UK / CA

首先读取数据，发现原始数据有两张表，分别为ab_data表和countries表。具体如下：

我们首先根据主键列user_id，合并两张表，发现合并后的数据总体形状为（294482，6）。合并后的表头示例如下：

真实实验数据往往存在“脏数据”，直接分析会导致错误结论。我进行了以下清洗：

理论上 control 组必须看到 old_page，treatment 组必须看到 new_page。如果出现交叉，说明实验分流出现事故，必须剔除。

实验发现共有3893分组与页面版本不一致的行，即实验组为旧页面，对照组为新页面。随后将他们全部剔除。

某些用户可能多次出现在数据中，这会破坏随机化。我进行了去重，保留第一次记录。

清洗后数据规模：

两组人数几乎相等，说明随机分流正常，数据质量合格。

转化率是衡量落地页效果的核心指标：转化率 = 下单用户数 ÷ 该组总用户数。

数据集中 converted 列为 0/1 变量（1=下单，0=未下单），因此直接对该列求均值即可得到转化率。

分组	用户数	转化率
对照组（旧页面）	145,274	12.04%
实验组（新页面）	145,311	11.88%

实验组的转化率比对照组低 0.16 个百分点，相对下降了 1.31%。这个差异是真实存在的负面效果，还是随机波动？我们通过统计检验来回答。

转化率是典型的比例数据，样本量巨大（n > 14 万），符合双样本 Z 检验（即用于比较两个独立总体均值是否存在显著差异的假设检验方法。）的适用条件。我们采用双尾检验，不预设新页面一定更好。

实验发现：

统计量	数值
Z 统计量	-1.3116
P 值	0.1897

P 值 = 0.1897 > 0.05，无法拒绝零假设。没有充分证据表明新页面与旧页面的转化率存在统计显著差异。 观察到的 1.31% 下降很可能只是随机波动。

P 值只回答“该不该信”，不回答“差多少”。我们进一步计算转化率差异的 95% 置信区间：

解读：

区间包含 0，与 P 值结论一致，差异不显著。
区间极窄（0.47 个百分点），说明样本量充足，估计精确。
即使按最乐观的 +0.08% 提升，每 10 万用户仅多转化 80 人，业务价值微乎其微。
结论升级版：新页面既无统计显著性，也无实际业务价值。我们不应被“不显著”的字面误导而认为“再试试看也许有效”——置信区间已经明确告诉我们，继续在这个方案上投入资源是不明智的。