Airbnb 实现订单 2 倍增长的 A/B 测试实践

1,111 阅读6分钟

案例:Airbnb

Airbnb 是美国一家非常受欢迎的共享经济公司提供闲时房屋租赁,他们发现了很多创造性的方式来实现增长,明智和数据驱动是它的代名词。

 

步骤1:找出优化指标

Airbnb 想优化的指标是房屋租赁天数,这对它们来说比单纯衡量收入更重要:如果房东出租房子的时间越久,那么 Airbnb 的业务也会变得更好。为了成就房东, Airbnb 通过列出热门租住房源,来保证留存。

 

Airbnb 知道,要取得成功,需要大幅提高每家物业的租住率。

 

一个关键指标:“房屋租赁天数”,KPI :房屋预定

 

 

步骤2:提出假设

我们不知道 Airbnb 是怎么提出这个假设的,但我们知道它能得到热门租住的房屋列表。

 

可能他们注意到这些热门租住房屋的照片看起来更专业,可能他们意识到房客的常见投诉是房子的照片和实际上不一样,可能他们发现人们在看了照片之后就放弃了列表,可能他们他们分析了图片的元数据,发现房屋租赁跟昂贵的相机型号之间有很强的相关性。

 

反正他们就是得出了这样的假设:图片越好看,房子租的越好。

步骤3:创建试验

有了这个假设,接下来就是创建试验了。通常来说,有一个清晰的假设能让创建试验更容易。 Airbnb 的 who ,what ,why 如下:

谁是试验的目标受众?在 Airbnb 上查看列表的游客。

想让他们做什么?租房子更频繁。

游客为什么会这样做?因为照片看起来更专业,并且让房子看起来更美观。

 

那么,这个试验就变成了:确定游客们是否会因为更专业的照片列表更频繁地预定房子,并把房屋预定提升 X%。

 

这种情况下, Airbnb 真的不需要任何当前数据,这就像对午餐的一次随机评论引出的假设。但即使假设不是建立在硬性数据中,试验设计也必须建立在硬性数据上。

 

为了运行试验, Airbnb 创建了精益创业里的最小可行化产品(MVP)。就像魔法师:大多数辛苦的工作都是在幕后做的,但观众认为他们看到的就是真相。

 

Airbnb 不确定试验是否有效,所以团队不打算雇佣全职的摄像师或给应用添加一个新功能。但同时,他们必须对实际功能进行真实测试。

 

这给我们一个很好的经验,你不需要建造一个宏伟的闪亮城堡,你不需要万事俱备才开始测试。你可以开始小的,精益的,低成本的测试,只对客户测试你想测试的部分,来验证(或反驳)你的假设。

 

Airbnb 的试验包含一些看起来像是一个真实功能的东西,但其实只需要摄影师就能解决。在试验过程中,摄影师为房屋拍照,然后测量 KPI ,再把有摄影师拍照和没摄影师拍照的房屋进行对比。

灰度发布

步骤4.衡量表现

在这个案例里, Airbnb 衡量了有专业摄影师拍摄的房屋以及屋主自己拍照的房屋的预定量。那么结果如何?有专业摄影师拍照的房屋平均预订率翻了2-3倍。

 

【记住原始数据不是唯一重要的部分,我们需要衡量统计显著。 Airbnb 的试验数据足够证明结果的可行度。—— Avinash】

 

到2011年,公司已经有了20名全职摄影师。

灰度发布工具

 

这张图非常令人印象深刻,对吧? Airbnb 的业务和商业模式做了很多对的事情,但精益过程和A/B测试是提高预订率的关键因素,显然,试验是成功的。

 

Airbnb经常用灰度发布和A/B测试对重要页面的修改和流程上的调优,通过灰度发布到1%或者5%的用户,看其实际对用户的数据影响(访问时间增加、留存提高、下单率提高等),决定此修改到底是100%发布还是被砍掉。

ab测试案例

 

Airbnb 从第一天就开始做 A/B 测试,不仅在自己的体系里做,还用第三方工具做,保证所有的决策,从产品,到运营,乃至到战略,都是经过数据驱动的优化决策。每一个改动,都先用 1%的流量来试验,然后再推到 5%,再到 10%,到 20%,到 50%,最后再发布给所有用户。

 

通过A/B测试,他们还有一个关于推介文案的结论:给用户展示“利他”的文案,比“利己”的更容易带来转化。如图所示,告诉用户“邀请好友可以获得25美元”的效果就不如“给你的好友赠送25美元的旅行经费”更打动人。

灰度发布

从 Airbnb 的案例中我们学到什么?

精益数据分析循环是快速推动变革非常核心的因素。精益数据分析循环和精益模式是一个整体,他们可以用于处理不确定事件,但他们不是随机的。第一步里很大的考量是如何确定 KPI (包含“一个关键指标”),这将成为我们试验的指引。第二步里有很多考虑,以确保能做出最佳假设,然后通过深入清晰地定义 who , what , why 来弄清楚如何进行试验。最后,衡量我们是否成功。然后不断内化吸收,最终成功。

 

 

吆喝科技:国内唯一同时支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 测试服务的专业 SaaS 平台。支持线上灰度发布、多维度数据统计分析、科学的流量分配系统、一键发布新版本无需应用市场审核、定向测试。

用数据帮助用户优化产品,提升转化、留存和你想要的一切。 AppAdhoc 用数据验证最佳方案,提高产品设计、研发、运营和营销效率,降低产品决策风险。