AppAdhoc A/B Testing客户案例

用A/B测试?#20013;?#25552;升产品

中移在线 微信APP导流页优化

公司简介

10086是中国移动官方出品的移动端APP。作为中国移动于2014年10月设立的全资专业子公司产品,10086基于中国移动服务8亿客户的模式,致力于在数字化服务加速启动的今天,满足客户对互联网的依赖和对“以指代步”的期待。10086面向个人客户,以?#26696;?#25163;机一把金钥匙,开启4G专属服务”为宗旨,产品视觉简单直观,交互?#23376;茫?#25552;供流量查询、超额监控、套餐余量提醒等多种服务支持,同时还可以帮助?#23376;?#31649;理流量和话费,随时随地关注消费变化,保证所有用户的通信无忧。

 

案例背景

作为官方微信公众号,“中国移动10086?#32972;?#36733;着将流动用户向10086移动端APP导流的重要职责。在公众号的主要服务模块以及每一期运营活动中,?#21152;?#19968;个专门引导用户下载APP的落地页,但目前这个落地页的下载转化?#26102;?#29616;不佳。因此,10086的产品部门希望能够通过A/B测试的方式,?#19994;?#20248;化转化率的最佳方案。

 

测试方案

10086的数据部门负责人发现,目前版本的下载界面很长(有6屏之多)。虽然?#31185;?#37117;从不同角度介绍了APP的优势功能,也?#21152;?#24341;导下载的入口,但数据显示,除了首屏的下载转化相对较多以外,其他几屏的数据很不理想。

在综合评估后,产品部门决定将新版下载界面缩短至一屏,看是否能对下载转化进行提升,具体方案如下:

%e7%89%88%e6%9c%ac%e5%af%b9%e6%af%94

原?#21450;?#26412;:页面内容相对丰富,分为6屏从不同角度描述APP功能,且每个页面?#21152;?#36716;化按钮;

试验版本:将原有的6屏内容整合为单一屏,同时增强CTA按钮的视觉效果。

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中?#37096;?#20197;随时调整用户流量,使企业可以在新版本上线之前,以最?#32479;?#26412;观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现客户反馈最好的版本,作为最终的新版本迭代方案。

 

测试目标

此?#38382;?#39564;主要关注两个版本的下载按钮点击?#38382;?#21644;转化情况,从而?#19994;?#26368;?#34892;?#20419;进产品导流的页面样式方案。

?

A/B测试数据反馈

本?#38382;?#39564;选择A/B测试与灰度发布相结合的方式,初始流量分配4%(各版本分配1%的流量),在确保真实环境下无bug及报错情况后,逐步调大试验流量,试验周期为7天(一般?#27492;擔?#20026;了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。在观察对比不同版本的试验数据后,产品部门得出了科学的试验结论。

-新版入口不论从点击还是转化?#27492;擔?#25968;据都达到了统计显著,样本提升幅度在55%,从置信区间的预估看来,整合为一屏后的导流转化至少可以增加12.4%;

-这些数据很好地验证了数据部门和产品部门的假设,基于中国移动10086公众号现有的用户,过多的功能介绍反而会分散用户的注意力,只需要简明扼要的表达移动端可以给他们带来的价值,用户自然就会下载产品;

-本?#38382;?#39564;的带来的宝贵经验,也为后续的产品优化提供了更加明确的方向。

14659 Views
即刻?#23548;?#25991;章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试?#23548;不?#26159;你所期待的增长干货。
禁忌的皇权客服