不谈政治,只看 A/B,A/B 测试政治行业最佳实践

297 阅读6分钟
原文链接: blog.appadhoc.com

A/B 测试作为 Growth Hacker 的一种方法,在国内还不是很普及。但在国外,连总统大选都在为 A/B 测试站台。2008年奥巴马团队第一次将 A/B 测试引入竞选并帮助最终竞选成功。从此 A/B 测试成为总统大选工具集里的常客。

澳洲大选,不成功的 A/B 测试实践
澳洲大选的 A/B 测试案例并不算成功,实际上是这样的,并不是所有的 A/B 测试都会成功。现实世界里失败的测试更多,但不代表失败的测试就没有用。失败的案例警示我们要时刻保持大数据思维,擅用数据说话,分析实验结果的时候不只是去关注那些有改善的结果,而刻意忽略没有改善的结果。

来看澳洲大选
真是一个悲伤的消息,距澳洲大选结束只剩不到10天,政治家们看起来有点疲惫。竞选预算早就耗尽,“冒牌工人”却成了网红(“Fake Tradie”源自澳洲竞选时自由党制作的一支攻击对手的广告,在广告里扮演工人的角色因为看起来不像工人火遍 Twitter )。

2016年无疑给了我们一个很有趣的竞选,但这次竞选真的给为竞选服务的数据化经理们提供了大量可利用的衡量、学习及优化他们服务的机会吗?他们把每个网站访客都看作一次机会吗?我们分析了各主要政党的页面优化并发现了一个有趣的结果。

2008年奥巴马竞选团队把实验和优化能力引入到数字营销世界。但在是否在竞选中采用 A/B 测试上澳大利亚政党都很极端,要么不做,要么就试试呗。工党是澳大利亚唯一的把实验和优化作为核心策略用在选民短信上的主要政党。但是,它们也是摸石头过河,缺少成熟的大规模实验经验。工党的网站使用 A/B 测试工具做了一个单一 A/B 测试,简单的测试了红色和蓝色注册流程那个更好:

事实证明,经过几天的实验,实验组的蓝色背景注册表单转化率要优于红色的控制组。 ALP(澳大利亚工党) 网站照抄了美国大选的优化方法,新访客在第一次进入网站的时候会被识别,并会呈现呼吁行动的弹屏。这种方式其实说把每个网站访客都当做一个重要的机会,在这种情况下,注册的访客就会被添加到邮件列表。

要和我们一起战斗吗?”赶快订阅

一个宣传机会
在是否做测试上,自由党变现的很保守,这一点体现在它们的网站上,主要把网站当成了一个宣传机会,通过更新新闻或政策来为大选添砖加瓦。在竞选中我们没看到他们在网站上实施任何实验(遍寻 A/B 测试的科技公司,Adobe Target,Optimizely 和 VWO 也没有找到踪迹),也没有捕获他们有做任何定制实验的迹象。不幸的是,自由党失去了从竞选中去最大化学习如何转化潜在和选民和摇摆不定的选民为支持者的机会,例如把他们加入邮件列表使得以后可以重定向。

这是机会实验挑战两党选民对于传统假定的的很好的机会。运行良好开发的有挑战性的实验将成为成熟组织的标配功能。在这上面必要的投资不总是可用的,直至渠道的价值变得明显。然而从原始数据上看,自由党网站访问量远超其他政党的网站,并且在过去30天内的网站更新和变化方面,压倒其他主要政党。

来自competeshark.com 2016年5月29日的数据

工党 A/B 测试复盘
工党做的 A/B 测试看起来没毛病,确实优化了背景色。但我们看这个测试,其实犯了精益数据分析里很严重的一个错误:过于关注“虚荣指标”。所有不谈转化只谈访问量、邮件用户数的行为都是耍流氓。你需要通过一切的方式去唤醒关注你的访客,而不是只是看访客数和邮件列表的增长。

希拉里:得奥巴马真传, A/B 测试做的不错

那么,在政治圈里谁家的 A/B 测试做的最好?放眼全球,民主党候选人希拉里-克林顿竞选时的实验和优化无疑是我们见过做的最好的。 Optimizely 前负责人说,希拉里竞选时的运行试验质量一直在被关注,下面的例子说明,选民受心理和时事的驱动,网页上的主要优化机会在于号召覆盖的访客采取行动来支持大选。

竞选文案标题传达“Join Hillary”的消息,有号召力并且也暗示帮希拉里就是帮选民自己


把国旗放在左侧,微妙的以“告诉参议院”做背景,CTA强化消息


传递通过捐赠支持大选,背景用“Thank you”


一旦100万的捐赠目标达到,“快速捐赠”的弹屏就会出现以保证源源不断的捐助流入。通过计数的方式,表明每一个访客的捐助的实质影响,再次用“Fighting for us”作背景来主要地位

希拉里说:“奥巴马手把手教我怎么用 A/B 测试赢得大选,你们都太小儿科。”

希拉里 A/B 测试项目复盘
失败的 A/B 测试有一万种失败的原因,而好的 A/B 测试一定只有一个根本原因:走心。
这无疑是一次走心的测试,在希拉里竞选中,其增长黑客团队为网站做了很多方案,通过对 A/B 测试数据的分析,选出了转化率最高的方案。并且在竞选的每一个关键节点,都很应景的加上了触动选民内心的元素,以此来推进转化。

总结
每个团队在运营中都会获得足够多的数据,真正把这些数据用起来才是数据驱动的核心。而 A/B 测试的先验性数据,无疑是提高决策正确率和科学性的最有效依据。

总统竞选都在用的 A/B 测试,你的团队,什么时候开始?

本文由吆喝科技编译自:Was CRO the biggest missed opportunity this election?

原文作者:Shaun Thambyah

原文链接:http://dwz.cn/46ISLN

吆喝科技:国内唯一同时支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 测试服务的专业 SaaS 平台。支持线上灰度发布、多维度数据统计分析、科学的流量分配系统、一键发布新版本无需应用市场审核、定向测试。

用数据帮助用户优化产品,提升转化、留存和你想要的一切。 AppAdhoc 用数据验证最佳方案,提高产品设计、研发、运营和营销效率,降低产品决策风险。