如何设计AB实验

在做AB实验的时候，如果实验设计不合理，会遇到很多问题。

• 实验组和样本组样本量不一样，可以这样设计吗
• 如何观察数据指标
• 分流节点如何选择更为合理
• 怎么判断核心指标
• 实验持续多少天较为合理，什么时候足以证明效果并且可以关掉实验
• 如果实验过程都是正向，突然某天结果负向，应该怎么分析

1、实验组和样本组样本量不一样怎么办

在实际运营过程中，经常会碰到页面改版对于实际效果未知情况，这种情况一般都是以最小成本做ab实验，防止改版对于转化造成大面积负影响。 实验组和对照组完全没必要样本量一样，实验组只需要用最小的样本量配置即可，当效果为正，再进行全面推广。 实验指标拆分为两类：数值指标和比例指标。数值可以理解为绝对量。例如订单量、订单金额。比例指标可以理解为相对指标，例如转化率。 实验组和对照组的比例指标可以对比。数值指标无法直接对比，因为样本量不同，需要均摊到人均概念，从而消费样本量不一致影响。

2、分流节点如何选择更为合理

分流节点选择也是很多分析师头疼的问题。例如运营在后台按照一定规则配置好实验人群，每天都按照这个规则对符合这个条件用户发券。那么分流节点肯定不是配置好的实验人群，因为配置好目标人群很多当天是未登录，有效用户是真正登录在这个页面且符合分流规则的用户。

场景：因为实验组中核销小红券人数过少，选择实验组所有人效果不明显，所以小红诉求是观察使用她发的券那些用户增量订单、人均营收等指标，和对照组对比。 请问：小红看数据方式合理不？ 答案：对比是不合适，因为ab分流逻辑不一致。实验组用券的用户本身就经过筛选，他们转化意向度肯定更高。这种一般是实验对照组数据不纯净，受到其他部门大额券导致，导致实验数据无法回收。正确操作是重新配置ab实验，保证实验和空白组收其他券干扰较小。

3、怎么判断核心指标

实验核心指标选择一般采用北极星指标方式，核心选择1-2个指标去观察。一般在实验设计环节就要想清楚这些问题，包括目标是提升多少，最好有一个量化的指标。

实验目的：选择的实验指标应该与实验的目的相关。例如，如果实验的目的是提高用户留存率，那么应该选择与留存率相关的指标，例如留存用户数、用户活跃度等。 易于衡量：实验指标应该是容易衡量的。这样可以更好地进行实验结果的分析和比较。 敏感度高：选择实验指标时，应该选择敏感度高的指标。即实验结果的变化应该能够明显地反映在实验指标上，以便更好地评估实验效果。

在选择实验指标时，还应该综合考虑各种因素，例如实验目的、实验设计、实验时间等。选取合适的实验指标需要考虑各种因素的综合影响。 总而言之，选择合适的实验指标是进行 A/B 实验的关键之一。需要在实验设计的初期就确定实验指标，并根据实验结果不断调整和优化实验指标，以达到最佳的实验效果

4、实验持续多少天较为合理

实验持续多少天较为合理，什么时候足以证明效果并且可以关掉实验

此处可以根据实验样本量计算出最小的样本量，理论上一般满足最小样本量都是可以停掉。根据实际情况分为两种：

如果实验正向，是可以多持续观察一段时间时间，防止坏产品上线。 如果实验负向，在满足最小样本量后就可停掉，用最小损失做AB实验

5、实验结果异常怎么分析

如果实验过程都是正向，突然某天结果负向，应该怎么分析？

这种情况一般都是对照组受到其它部门大额券影响导致。只需要分析对照组中大额券数量和名称，看是否对照组变成其他部门实验组，导致结果无法观察。

关注公众号「水沐教育科技」，在手机上阅读所有教程，随时随地都能学习。内含一款搜索神器，免费下载全网书籍和视频。

微信扫码关注公众号