产品经理如何做A/B实验

编辑导读：A/B测试支撑着产品的高速迭代发展，同时也沉淀着海量的最佳实践和方法论。本文作者从自身工作经验出发，讲述如何更专业地做A/B测试，如何拿到更加置信的数据结论，希望对你有帮助。

A/B测试支撑着产品的高速迭代发展，同时也沉淀着海量的最佳实践和方法论。笔者在某头条做C端产品时，做了大量的A/B实验，快捷测试验证新功能。其中在2020年8月份，1个月做了12个A/B实验，带来明显的OKR指标提升，当月获得绩效最高档（盖章可查询）。给大家整理了一些A/B实验方法论，分享给需要的同学。

本文讲述如何更专业的做A/B测试，如何拿到更加置信的数据结论。后续会陆续给大家分享如何思考设计新的功能，确保A/B实验的正向率，避免成为A/B实验的终结者（结论总是负向）。

一、什么情况下需要做A/B实验？

大多数A/B实验建立在：当不确定哪种方案更有利于达成核心目标，不确定新的方案会不会对核心指标之外的其他指标造成负向影响，我们通过做A/B实验来进行测试。

关于A/B实验的功能场景，我们看个简单的例子：

场景还原：优化前的商品详情页展示商品价格以及该商品可以用的优惠券，如何提升商品的交易转化率呢，产品经理想：帮用户把券后价直接展示出来是否能提升转化率，能提升多少。

由于商品详情页是电商交易链路的核心页面，直接全量上某个功能，万一效果不好则影响巨大。通过切一部分流量进行A/B测试，密切观察实验数据、灰度发布是最佳策略。

大家熟知的今日头条、抖音、西瓜这些产品的名字，都不是产品经理或者业务负责人拍脑袋经验主义决策的结果，而是把不同名称的应用包上架到应用市场，看哪个名字的下载率和分享率最高，就用哪个。本质上通过A/B测试的思想，把产品决策权交给了用户。

二、怎样设计A/B试验？

A/B实验的整体流程：

2.1 确定实验目标

确定实验目标即以什么指标衡量实验组的好坏。

提升页面转化率：例如电商行业中，提升列表页到商详页的转化率，商详页到订单确认页的转化率，订单确认页到交易成功页的转化率。在家装行业中，最常见的是提升留资页面内“预约装修”提交按钮的点击转化率。
提升用户留存：提升用户在平台内的次日、3日、7日等留存率

在观察实验组数据指标时，以一个核心指标为主，同时需要观注其他相关指标，全面衡量，得出结论。

举个栗子：笔者在爱奇艺任职期间，为了提升核心指标“人均VV（人均播放次数）”，产品做了“自动播放”功能。短期内核心指标显著提升，但由于自动播放功能造成用户反感，用户留存指标受到了影响。为避免长期造成用户流失，该功能下线。

2.2 设计实验

2.2.1 设置实验组和对照组

• 唯一变量：实验组和对照组的设置采用控制变量法，实验组和对照组设置本次实验想要验证的唯一的变量，其他条件均不变。
• 同层实验：如果有多个实验在进行，选择同层实验，避免分层实验。因为同层实验互斥（用户只会在一个实验组），而分层实验可以复用流量（一个用户可以命中多个实验）

以上是基础的流量分层设置，A/B实验成熟的情况下，还可以进行独占实验和长期对照。

独占实验：某些实验层专门为某些特定的实验准备，其他实验不可使用。

长期对照：设置一部分用户做长期对照，不参加任何实验，可以评估多种实验叠加后的效果。

例如笔者所在部门，有几十个实验专项层，笔者独占3个，专门用于做交易链路相关的A/B实验。

流量设置：给实验组和对照组分别设置一定的流量，这是做实验的必要准备条件。

例如：如果实验分对照组和实验组2个组，选择“层1”取40%的流量，每组20%。如果实验分3个组，对照组和实验组1、实验组2，那么在“层1”取60%的流量，每组20%。

另外，初期每组设置多少百分比的流量，这个要参考当前页面平均每天有多少UV，每组至少保证2000个以上UV，实验相对置信。

2.2.2 空转实验

空转即A/A实验，在成熟的实验平台可自行设置。

例如：设置7-8组实验流量，空转3天，监控PV/UV、转化、留存等核心指标，看有无明显差异。取2组最相近的用来做实验，其余的释放掉。

空转可以明显地发现抽样不均，去掉因为抽样不均带来的实验影响因素，提升实验置信度。

2.2.3 反转实验

• 反转的前提：A/B实验根据需求功能不同，实验进行的周期不同，短则3-7天，长则1个月。当观察实验结果正向的情况下，可对实验进行反转。
• 反转操作：将实验组和对照组进行对调，实验组变成对照组，对照组变成实验组，再次观察实验结果。
• 反转分析：如果反转后的对照组和实验组相比是正向，那么实验成功，可全量。
• 不可反转的情况：如果A/B实验观察的结论为负向，切记不可进行反转实验，会损伤原对照组的用户体验。

三、如何分析A/B试验

举2个例子进行说明：

实验一：对最近7日流失新用户进行push召回，以提升新用户留存。

由于目标用户群大多为白领，早上7点在吃饭或者通勤，很少有机会打开APP。而中午到下午有些许的休息时间，推送效果最好。

实验二：对秒杀商品列表页价格样式做优化，以提升秒杀频道转化率。

通过优化秒杀商品原价展示样式，突出商品原价的展示，进而强调秒杀频道的商品的价格差，提升用户购买转化率。

四、A/B测试的价值

数据驱动创新，数据驱动增长，A/B测试是其中核心的工具和引擎。字节跳动的实验平台，每天新开的实验有1500多个，同时运行的实验有上万个。上到中高层管理人员，下到一线产品和运营人员，大家的普遍共识是：A/B测试是一切决策的前提和基础，用数据说话。

业务创新：通过持续的功能优化打磨，累积创新效果，逐步形成迄今最优的产品形态，同时可将优秀的功能模块抽象沉淀至通用化组件平台。

笔者曾将验证过后最优的产品功能，抽象为可配置通用组件，沉淀在乐高平台（自助搭建h5页面的平台，类似京东的通天塔），供不同业务使用，从而将产品效应发挥到最大。

收益提升：在电商/金融等交易相关产品中，通过优化交易链路可直接带来可观的经济收益。

管理提效：通过A/B实验精准衡量新功能产出，为管理层提供准确的数据依据和科学度量。

五、写在最后

A/B测试是一个非常有用的工具，它很强大，但它仅仅是一个工具。产品经理在日常工作中，应该是带着想法、思考，然后再去运用它来帮助验证。张一鸣在2019年字节成立7周年大会上说过一句话：“同理心是地基，想象力是天空，中间是逻辑和工具” ，希望A/B测试这些理论的基石，能够成为大家解锁未来产品之门的一把钥匙。

本文由 @王妍 原创发布于人人都是产品经理，未经作者许可，禁止转载。

题图来自Unsplash，基于CC0协议