案例研究：The Motley Fool如何利用实验作为增长策略黑媒体

案例研究执行摘要

公司名 ：The Motley Fool
行业：媒体；金融服务
商业模式 ：高级服务订阅
实验冠军 ：The Motley Fool美国市场运营和优化主管Nate Wallingsford

业务需求：

增加付费用户获取量以实现收入目标
通过优质服务提高用户参与度
增加会员保留
增加客户生命周期价值

解：

以过程为导向的实验，具有适当的实验设计
The Motley Fool和WiderFunnel之间的协作实验构想
The Motley Fool实验的内部社交
员工扩充（UX / UI设计和Web开发）

结果：

数百万美元的额外年收入
在Motley Fool的整个渠道中产生并利用了关键的客户洞察力
Motley Fool的营销和产品团队的统一实验工作

受控实验可以将决策转变为科学的，循证驱动的过程，而不是直观的反应。没有它们，许多突破可能永远不会发生，许多坏主意将被实施，只会失败，浪费资源。 —“在线实验的惊人力量”发表在《哈佛商业评论》上

全文：The Motley Fool如何利用实验来推动增长

3年前，内特·沃林斯福德（Nate Wallingsford）担任The Motley Fool的转化营销总监（收购营销）时，他知道实验将是主要重点。

Nate理解提供数据支持的建议以改善数字体验的能力至关重要。对于像The Motley Fool这样的多媒体公司来说，该公司的网站每月都有数百万的唯一身份访问者，即使客户获取率略有提高也可能对底线产生巨大影响。

如今，Nate是The Motley Fool美国市场运营和优化负责人，该公司正在整个客户旅程和多个团队中进行测试。

尽管The Motley Fool一直都在进行实验庆祝，但Nate与WiderFunnel的合作使该实验计划的知名度得到了提高，获得了可观的收入，并且可能是最重要的是，可操作的客户洞察力。

本案例研究探讨了Nate和他的团队如何将实验作为一种可靠的（双关语）成长策略。

业务环境

如前所述，The Motley Fool是一家知名的多媒体金融服务公司。

他们的网站由页面组成，页面上有对投资者有用的免费内容；该公司通过各种股票，投资和个人理财保险服务产生收入。 Motley Fool的渠道包括三个主要方面：

用户获取或前端营销：目标是鼓励非付费会员注册并成为付费会员
追加销售或后端营销：目标是鼓励付费购买低层服务的会员购买更多优质服务
产品：目标是增加会员对他们所付费用的服务的参与度，并增加会员保留率

漏斗的每个区域都是The Motley Fool内部不同团队的职责，但是每个人都致力于创造最佳的客户体验并提高客户的生命周期价值。

在团队中，我们每个阶段都非常专注于客户生命周期价值（LTV）。无论这是某人与我们合作的第一个产品-使他们进入更高的层次。在产品方面，我们让人们更新的次数越多，他们的终身价值就越高。对于客户和我们而言，这都是双赢的局面–他们获得了很好的库存建议和建议，我们也保留了它们作为客户。

— The Motley Fool美国市场运营与优化主管Nate Wallingsford

作为用户获取团队的负责人，Nate的主要重点是通过增加付费订阅来实现其收入目标。实验是他的选择工具。

寻找合适的实验伙伴

从一开始，Nate就拥有了在团队中建立成功的实验计划所需的一切：高层支持，大量网站访问，大量改进想法。但是他缺乏一个过程。

内特（Nate）进行了他所谓的“良好思想测试”，即您拥有自己认为的好主意，对其进行了测试，无论它是赢，输或无定论。如果赢了，万岁！您可以实施更改。但是，如果失败了，它会回到制图板上。

作为一个自称为流程型人，他知道必须有一个更好的方法。正是在这一刻（在Google上搜索实验过程），内特偶然发现了WiderFunnel创始人克里斯·高沃德（Chris Goward）的书《 你应该测试！ 他买了下来，读了下来，很喜欢。

我以为，“这本书太棒了。” 我将开始围绕WiderFunnel方法构建优化程序以进行采集。

—内特·沃林斯福德

而且他不是在开玩笑。 Nate拿走了他在书中所读的所有内容以及WiderFunnel网站上的资源：LIFTModel®（一个很好的假设），Infinity Optimization Process™，PIE优先级划分框架，并建立了WiderFunnel的Trello板他解释它的过程。

内特从第一天开始就了解实验。太棒了。他已经熟悉LIFT模型和实验设计原理。我们能够立即跳入协作实验构想和策略。你知道，有趣的东西。

— WiderFunnel实验策略师James Flory

最终，内特决定与WiderFunnel合作，以确保他的计划尽可能成功：在内部巩固对这些流程的使用。获得对其他设计和Web开发资源的访问权。并与每天在各个行业进行测试的专家实验策略师合作。

全新视角的力量

对于每个新客户，都有一个发现阶段。在我们建立合作伙伴关系的初期，Nate和WiderFunnel团队研究了The Motley Fool最重要的用户获取目标，并对fool.com进行了初步分析。

我们注意到的第一件事就是缺乏醒目的号召性用语来注册The Motley Fool的高级服务。用户登陆该网站并参与内容开发，但没有明确的转化途径。实际上，几乎没有迹象表明可以提供专业服务。

Nate和他的团队对他们的产品，市场营销和客户有很多了解，但是他们却忽略了一个常识性的改进。营销人员经常发生这种情况。我们非常接近我们的日常工作，因此陷入思维方式，以至于我们错过了简单的解决方案。

这就是为什么拥有崭新视野的合作伙伴必不可少的原因。

WiderFunnel进行的第一个实验是在我们的桌面网站范围导航中添加号召性用语按钮。它非常简单，似乎很简单，但是影响却是疯狂的。在那之后，我知道这是一个不错的决定。而且我知道与[WiderFunnel]合作真的很酷。

—内特·沃林斯福德

实验细节

对于此实验，我们在导航中添加了“最新的股票精选”号召性用语。此CTA替换了标有“股票精选”的下拉菜单。假设是Motley Fool用户正在特别寻求选股建议。

假设：在站点范围内的导航中创建清晰的“最新股票精选” CTA将导致更多用户从fool.com的各个区域进入创收渠道。

变化

测试了两个变体。每个都有“最新的股票精选”号召性用语。但是在每个变体中，此CTA都将用户带到了另一个页面。我们的最终目标是找出：

如果用户甚至知道提供了付费服务，并且
哪个渠道最能帮助用户做出决定，最终帮助购买

在变体A中，“最新精选”号召性用语将用户引导到首页，并将他们锚定在高级服务部分。本节详细介绍The Motley Fool的不同产品，以及“立即注册”号召性用语。

对于变体B，我们想尝试限制选择。 “最新的股票精选”号召性用语没有向用户显示几个产品选项，而是直接将其发送到“股票顾问”服务注册页面；这是Motley Fool最受欢迎的服务。

两种变化都超过了控制。变式A导致交易的11.2％充满信心（99％），变体B导致交易的7.9％增加97％的信心。

有趣的是，由于变体B是使用因子设计在变体A的基础上构建的，因此我们可以看到，该变化实际上使交易减少了3.3％。

什么是析因实验设计？

析因设计是实验设计的一种方法。与多变量（MVT）测试类似，阶乘设计允许您测试同一变量中多个元素的更改。最大的区别是析因设计不会迫使您测试所有可能的变更组合。

您可以设计一个实验来专注于您认为会产生最大影响或推动洞察力的特定隔离，而不是为已更改元素的每种组合创建变化。

在此处了解更多信息。

有什么见解？

在Motley Fool的最初经验中，用户可能不确定如何注册（或可以注册），因为在整个站点范围的原始导航中缺少号召性用语。与发送到一种产品相比，用户似乎更喜欢某种程度的选择（如变体B导致的交易减少）。

跟随客户的见解

Nate一直在进行的“好主意”测试最大的问题之一是，它优先考虑转化率提升而不是洞察力，而不是学习。如果实验获胜，那就太好了。如果不是，则其值为零。构思，设计和运行测试的所有精力都浪费了。

但是，出色的实验程序会在每项测试中产生见解。这就是Nate开始使用WiderFunnel构建的。

一系列实验特别令人着迷。它产生了客户的核心见解，即Motley Fool在整个数字体验中仍在利用和验证。最初的想法是利用一种极为普遍的说服原则：社会证明。在任何客户体验中添加社交证明都是“ CRO最佳实践”。

实验细节

The Motley Fool的次要渠道顶部指标是该公司电子邮件营销列表的电子邮件注册。对于此渠道的第一个实验，我们重点介绍了电子邮件捕获模式。在我们的一种变体中，我们添加了一份社会证明声明：“加入超过121,837,512位其他来Motley Fool寻求见解的傻瓜。”

过去，这种策略在其他WiderFunnel客户中也起作用，它鼓励更多的用户进入增加收入的渠道。但是，在这种情况下，变体出现了变化。导致注册人数减少-11.2％ 。

在这个实验中，社交证明导致用户的强烈反应，表明这种说服技术具有很高的敏感性。一种理论如下：潜在客户实际上并不是在寻求其他人信任Motley Fool的事实，而是在寻求排他性。

Nate和WiderFunnel策略师James Flory想进一步了解。他们进行了另一个实验，这次是在电子邮件捕获程序的主要目标网页上。但是他们利用了另一种形式的社会证明：客户推荐。

假设：添加证明书将使用户相信此页面可作为提交电子邮件和提高电子邮件捕获率的地方。

Motley Fool用户再次做出了负面回应。社会证明的差异导致转化率略有下降。看到这个结果，内特想到了整个客户旅程中的推荐信，并想知道：我们是否应该在整个渠道中删除社交证据？

“我们已经开始测试将社交证据注入我们的潜在客户捕获页面。 每当我们这样做时，我们都会看到转换受到拖累。 我们尝试在视频销售信函页面上添加社交证明和信任元素。 这拖累了转换。 我们认为这很奇怪。 添加社交证明似乎是一种最佳实践，也是一种行业标准。” Nate解释道。

“因此，我们认为，让我们在订单页面上对此进行试验。 这些位于购买之前的漏斗底部。 如果删除订单页面上的证明和社会证明，会发生什么？ 然后我们会看到升力，因为在漏斗的前面我们看到了全盘阻力吗？”

这次，我们在订单页面上进行了另一个实验-包含购买点的渠道阶段。在该变体中，所有客户推荐都被删除。这种变化非常糟糕，减少了交易，平均订单价值和每次会话收入。但是，它产生了一些可行的见解：

先前的研究表明，社会证据与转化率呈负相关。这个实验挑战了这种见解。
可能是，在用户旅程的早期阶段，用户尚未处于购买心态，仍然渴望排他性。
渠道的早期阶段并没有暗示付费服务或订阅，但是添加推荐信可能会使用户想到即将到来的销售推销，可能会触发退出或增加警惕。
相反，当用户面临购买决定时，他们会积极响应社交证据，这可能会减少焦虑并增加对其决定的信任和信心。

真的很有趣。即使我们在所有三个实验中的转换率都下降了，他们还是得出了这样的见解，即社交证明和推荐在购买时是巨大的，但可能需要在渠道顶部避免。

—内特·沃林斯福德

这一系列实验指出了总体实验的重要性。如果Nate仅根据最佳实践对fool.com进行了更改，他可能会看到转换率下降，而对原因却一无所知。

而且，如果他没有利用实验过程来了解在何处重新测试和验证见解（在这种情况下，是社会证明的阈值和弹性），那么他可能会根据初始实验只是在渠道中删除了较低的社会证明。结果，假设社会证明无效。

社交实验：获得知名度的重要性

每个营销人员和产品所有者都有他们想要达到的增长目标。因此，取得积极的实验结果非常重要。但是可见性对于任何实验程序的寿命至关重要-无论是获胜的实验还是产生学习的“失败实验”。

Nate的目标一直是在The Motley Fool推广基于证据的决策文化。

早期，Nate意识到通过基于过程的实验获得的见解是进行更好测试的起点。他想将这些知识传播到整个组织中，因此他开始将自己的实验和见解汇总到每月的电子邮件通讯中。

最初，内特（Nate）只是将这份通讯分发给了美国收购团队。但是人们开始将其转发，并且更多的愚人开始对加入他的发行名单感兴趣。因此，他开始将这种交流扩大到其他团队。

该新闻简报成为The Motley Fool其他团队（尤其是网站访问量较低的团队）的重要资源。这些团队缺乏流量测试能力，无法以与收购团队相同的速度进行测试，但是能够利用Nate的洞察力和结果在自己的网站上实施新的体验。

今天，Nate和他的同事Lauren每周进行一次实验站。与会者来自公司的各个部门-市场营销，技术和编辑团队。在Motley Fool进行的实验中，这种持续不断的交流引起了嗡嗡声和动量，并且是Nate策略的关键部分。

杂色傻瓜实验的未来

在建立合作伙伴关系之初，Nate希望利用WiderFunnel的专业知识进行实验，并扩大其资源以迅速扩展The Motley Fool的实验计划。此后，这种关系演变为高度合作的伙伴关系。如今，Nate和James相互汲取彼此的见解和想法，共同开发新的测试和经验。

测试构想，优化对话和[我们与WiderFunnel之间]的整体融洽关系非常出色。我觉得我正在与同事而不是代理商进行这些对话。

—内特·沃林斯福德

最近，WiderFunnel和The Motley Fool扩大了合作伙伴关系，以帮助在Motley Fool的产品体验中推动测试策略。这与Nate的实验重点完全吻合：

为了促进营销和产品团队之间更深入的协作，并统一新成员从购买到产品体验的旅程
并优化The Motley Fool的移动体验并提高获利能力

内特解释说： “ The Motley Fool的情况很快发生了变化 。” “我总是尝试优先考虑那些对业务产生最大潜在影响的实验。 这是使我们的计划成功的很大一部分，并将成为我们团队的持续关注。”

** 该帖子最初于 2019 年2月5日 发布在 www.widerfunnel.com 上。