留存率指标波动归因分析
分析师的工作之一就是量化各个因素的影响大小,但是结果通常是多个变量共同作用下结果。本文引入一个概念,贡献率。
贡献率是某一因素变动对整体贡献大小的度量,单维度下各因素的贡献率总和等于100%。贡献率常用于判断分析方向,缩小分析范围。
总之一个整体,按照某种维度进行拆分(要素必须相互独立,符合MECE原则),就可得到各因素的贡献度,以衡量各个子部分对整体影响大小。
假设我们进行用户留存率分析,可以将留存率拆分为两类因素:
- 某些用户群体留存率波动
- 某些用户群体占整体比例波动
前者可能是平台策略变动的结果,通常可以反映策略接下来的发力点。而后者通常是用户结构的波动,与策略关系不大,很难通过平台策略干预。
按照上述两个案例的拆解,分析框架进一步拆分为如下三个步骤:
- 定位目标用户群体
- 聚焦目标群体,定位与平台相关的原因
- 提供策略建议
精细化的拆解是非常必要,这样做一方面可以帮助我们看清潜在问题目标用户;另一方面如果停留在大数层面去做推断可能会得到错误甚至相反的结论(「辛普森悖论」)。
因此算清楚具体到每个细分群体的用户占比(组间)变化与留存率(组内)变化分别对整体留存的影响是很关键的:我们把这类计算称作贡献度计算。
假设某平台市场推广前后大盘整体留存率下跌 3%,这说明活动损害用户体验了吗?
当细拆用户群体之后发现用户体验是全面提升的。造成这种现象的原因是活动大幅拉动增量新用户与沉默用户进入平台,用户占比均从 5% 提升到了 10%。在此基础上,活动对各个群体的留存率均产生 2% 的正向影响,因此该活动产生的正向收益是非常明显的。

这个例子中,大盘与细分群体的数据之间的相互矛盾就是典型的辛普森悖论问题:
大盘留存率变化=f(用户结构变化,用户体验变化),
忽略掉用户结构这个重要内生维度得到的相关性不能指向因果关系。
通过这个例子我们可以体会到,用户群体内部(接下来统称:组内)留存率的变化与用户群体之间占比变化(接下来统称:组间)都会影响大盘整体留存率。
由于短期用户结构变化大概率是平台之外因素扰动导致大盘用户结构变化,业务会更多关注具体某个用户群体留存涨跌的原因,因此算清楚具体到每个细分群体的用户占比(组间)变化与留存率(组内)变化分别对整体留存的影响是很关键。
贡献度计算是可拓展的,当一个业务的用户画像体系建设很完备时,贡献度可以帮助我们快速找到关键的用户群体以及这个群体影响大盘的方式。
假设数据调整,该群体活动前后用户占比分别为如下:

全国大盘活动后相比活动前,留存率从65%下跌了6.2个PP至58.8%,其中用户占比变化贡献了5个PP,用户群体类指标的变化贡献了1.2个PP;
一般来说,占比的变化受到行业环境的影响较大,因此很难通过平台内部数据找到真正原因与应对策略。因此为了提升工作效率,分析师有限时间内要去分析留存率显著下降的群体,根据种类内贡献大小排序优先级。
此后,就拿[活跃用户] 留存率下降进行归因分析:

通过数据分析发现,活跃用户下的中频人群指标波动贡献 -1.2% ,对整体影响最大,那么此后,就可以聚焦中频用户策略做进一步展开分析。
如果还有不懂,可以参见其他案例,RF分层转化率异动归因
关注公众号「水沐教育科技」,在手机上阅读所有教程,随时随地都能学习。内含一款搜索神器,免费下载全网书籍和视频。

微信扫码关注公众号