A/B测试入门:用数据代替争论
两个方案吵不出结果,一周的测试可以。测试设计、样本量与常见误区。
团队里最强的声音不一定是正确的判断,A/B测试让用户投票。
基本流程
流程一:提出假设,改什么、预期什么效果、为什么;流程二:设计变体,一次只改一个变量;流程三:分流,随机对半,保证两组用户特征一致;流程四:跑量,达到预设样本量再下结论,别中途偷看;流程五:决策,显著优于对照就全量,否则回滚并记录结论。
样本量的常识
转化率的自然波动很惊人,样本不够时谁高谁低纯属运气。粗略经验:日流量千级跑一周起步,万级三五天。更精细的用样本量计算器。
三个常见误区
误区一:同时改五个变量,赢了也不知道赢在哪;误区二:测试时间太短,周期性波动被当成效应;误区三:结果不显著硬说显著,统计显著性不是想当然。
测试文化
失败的测试同样有价值:排除了一个错误假设。把每次测试的假设、结果、结论归档,一年后这份实验日志比任何方法论都值钱。