哈佛商业评论

每年，营销人员都会花费数十亿美元在营销活动上，旨在吸引、留住客户并向客户超额促销。然而，尽管进行了如此巨大的投资，但要确定这些举措的实际效果以及如何改进，可能是一件极具挑战性的事。衡量一项营销活动投资回报率(Return on Investment, ROI)的一种常见方法是进行A/B测试：营销人员用两种不同的干预措施针对客户，然后比较两组群体之间的结果。在使用正确分析方法的情况下，这些A/B测试可以提供有用的见解——但它们也有可能极具误导性。

为了弄清经常使用A/B测试的缺点，考虑一个假设的例子很有帮助。想象一下，你效力于一家大型艺术机构，该机构对其会员保留率下降忧心忡忡。你正在考虑将一份小礼物连同续约通知一起发送给你确定更有可能注销会员身份的成员，但由于这样做是有代价的，所以你应该确保这项干预措施在更大范围推而广之之前行之有效。因此，你决定进行一个小规模的试点活动，随机选择一组“有风险”的成员收到礼物，另一组不会收到礼物，以观察那些收到礼物的人是否更有可能续约。

现在，假设你没有发现收到礼物的会员和对照组的会员在保留率上有任何差异。如果你的分析就此结束，这很可能会导致你取消礼物计划，因为数据似乎表明，送礼对保留会员身份没产生影响。但在更仔细审视数据后，你可能会发现，对于某一细分群体的客户——比如去年到访过的那些人——礼物实际上确实大大增加了他们续约的机会，而对于长期未到访的客户，礼物实际上让他们续约的可能性降低，或许是因为这更突出地提醒了他们使用自己会员身份的频率有多低。利用A/B测试来评估某项干预措施的平均效果可能会掩盖一些重要的见解，围绕这些见解，客户可能会更愿意或更不愿意接受此营销活动，从而导致营销人员在针对哪些客户开展哪些营销活动方面做出错误的决定。

优化客户流失预防活动

这并非只是假设——事实上，这个例子是基于我在研究中与之合作的一个真实的机构。在提高留职率方面，企业通常会找出“高风险”客户——即，这些客户最近的行为或其他特征表明，他们尤为可能取消订购或停止购买某公司的产品——然后进行A/B测试，以确定他们的留人活动是否对这一群体有效。虽然这是一种可以理解的策略（你当然不应该将营销资源浪费在那些无论如何都不会流失的客户身上），但我的研究表明，这一策略可能会产生严重的事与愿违的结果，因为它会导致营销人员做出错误的决定，从而在实际上降低总体留职率以及营销支出的投资回报率。

具体而言，我在两家正在实施留人活动的大型企业开展了实地试验。在我的研究的第一部分中，两家企业都制定了减少流失的干预措施，然后进行了A/B测试，对总计14000多个客户的流失率进行跟踪，其中一个随机分配的客户群体接受了干预，另一群体则没有得到干预。接下来，我收集了数量丰富的客户信息数据集，包括最近的活动及与公司的接触、身为公司客户的时长、所处地点以及用于预测流失风险的其他指标，并检验了哪些特征与对留人活动的积极响应相关。

我在这两家企业中都发现，被认定为流失风险最高的客户不一定是留人计划的最佳目标——事实上，客户流失风险程度与其对干预措施的敏感度之间几乎没有关联。数据显示，有一个独特的客户群体（具有特定行为或人口特征、在接受干预措施后流失可能性较小的客户）对每一项干预措施都产生了强烈的反应，但这一“高敏感度”群体与被认定为“高流失风险”的人几乎没有重叠。这对投资回报率产生了严重影响：我的分析发现，如果两家公司将相同数量的营销预算用于高敏感度群体而不是高流失风险群体，这会让他们的流失率分别减少5%和8%。

当然，让客户更有可能乐意接受留人行动的具体因素会因企业而异，甚至因行动而异。不过，像上述的那样进行试点，可以帮助你确定哪些特征将会成为你预测客户对具体干预措施敏感度的最佳因素。比如，我研究中的一家企业是一家电信公司，诸如客户上个月的通话次数、发送的短信数量、下载的数据流量等有关行为指标的详细数据都可以获取。对于这家公司而言，数据显示，客户最近一次与公司接触的时间久远程度预测出了他们的客户流失风险程度，但并没有影响到他们对流失干预措施的敏感度。真正预测敏感度的是他们的数据使用情况——这表明，为了最大限度提高投资回报率，该公司应该考虑将他们的留人行动目标不要对准那些很长时间没有接触的客户，而是瞄准那些使用了最多数据的客户。

从预测到开具处方

那么这对营销人员意味着什么呢？关键的见解是，营销干预措施的目标应该基于每个客户对该干预措施的预期反应，而不是基于在没有该干预措施的情况下客户有何预期行为。从某种意义上说，营销人员就像是医生：医生不会只对最有可能死亡的病人进行随意治疗——他们会向最有可能对治疗做出积极反应的病人开具具体的治疗处方。

营销人员不应试图预测客户会做什么（即，试图确定他们的流失风险），而是应该关注不同类型的客户会对特定活动做出的反应，然后设计最有可能有效减少特定客户群体流失的活动。企业不仅仅应该利用A/B测试数据来试图衡量某项行动在所有客户中的总体有效性，而是应该探究哪些类型的客户会对特定干预措施最敏感。这意味着将客户的历史交易及人口统计数据与通过A/B测试收集的数据相结合，以发现让客户最有可能对特定干预措施做出反应的行为和特征。幸运的是，许多企业已经收集了所有这些数据——这只是一个以新的方式利用这些数据的问题。

有针对性的营销活动这一概念并非新鲜事物——至关重要的是，要仔细考虑你在如何做出这些有针对性的决定。企业不应该只是猜测哪些因素可能表明某人是一个明显目标，或者关注一个被视为首当其冲的群体（例如高流失风险客户），而应该瞄准那些对他们正在实施的具体干预措施最敏感的客户。为了最大限度地提高投资回报率，营销人员需要停止询问“这项干预措施是否有效？”而开始问“这项干预措施对谁最有效？”——然后再相应地确定他们的活动目标。

埃娃·阿斯卡尔萨是哈佛商学院工商管理学Jakurski Family副教授。

埃娃·阿斯卡尔萨(Eva Ascarza) | 文

时青靖 | 编辑