哈佛商业评论

杰里米·金从事技术工作近30年，过去15年里大部分时间在帮助企业运用实验和数据辅助决策。现任Pinterest技术高级副总裁的金与《哈佛商业评论》聊了聊实验法的益处，以及支持实验法所必不可少的企业文化。以下是采访节录:

HBR:对照测试是什么时候开始成为你工作的一部分的?

金:从2001年到2008年，我在eBay工作，任期到了后半程的时候实验平台和对照测试成为焦点。早期许多实验关注的是公司的搜索引擎。我在eBay工作时网站上出售的商品非常多，我们一直在努力优化用户使用搜索功能时呈现出的结果。当时的目标是要让用户能搜到自己想找的东西，同时也要让用户有意外发现。像eBay、Etsy和Pinterest这样的平台，你不会希望搜索功能太过精确。你会想要鼓励探索发现，鼓励用户到处逛逛，发现新的东西。因此我们测试不同的搜索结果，评估交易量、点击率和浏览时间等，尝试寻找最佳平衡。

一家企业是否需要某种特定的文化，才能够具备优秀的实验能力?

要想在实验方面成功，企业必须坚持根据数据作决定。对于多数在位公司而言，做到这一点需要转型变革。许多公司是让位高权重的人、相关的专家或直接负责人做决定，依靠的往往是直觉。而在数据驱动的公司，你不太会听到“我猜想......”“我敢说......”这样的话。我进入Pinterest的时候印象最深的是，最近六天里在公司大数据系统里查询过数据的员工多达65%。这些人不只是产品工程师和高管，还有HR部门和法务团队的人。在会议中，如果有人提出问题，大家并不会猜测答案，通常会打开笔记本电脑，开始查询客户交易信息，寻找有数据支持的答案。

比较老的非数字化公司要转为这种环境有多难?

这种公司的第一大问题是员工无法访问数据。企业都喜欢讲数据民主，但这方面还有问题，比如个人隐私问题。我碰到过各行各业对此抱有怀疑态度的人，他们问:“我是否真的应该允许全公司所有的人看到所有数据?”数据民主需要投资和文化上的转变，不过，让公司更多的人有权限访问数据，带来的益处是很显著的，因为这样可以促成更好的决策制定。

你在沃尔玛工作了近八年。请你形容一下沃尔玛的实验文化。

沃尔玛的员工依然在讲述八号店的故事。八号店是创始人萨姆·沃尔顿(Sam Walton)实验新方法的地方。挑选一小部分门店尝试新创意的做法保留至今:沃尔玛有大概十家店是专为实验而设计的，每个地区至少有一家。实验通常涉及楼层布局或交互设备等。我在沃尔玛的时候，我们尝试过让一个门店只开设自助结账，不设收银员。你可以想象，实体店的实验比在线实验慢得多。沃尔玛的文化还会受加盟零售商影响，零售商很有经验，有时候依赖直觉多于数据。这种看重本能的做法在一定范围内可以取得成功，但是像我们Walmart.com这样的大规模运营，每天推出几千种新产品，一个人的能力就很有限，不可能完全了解每一分类下的每种新产品，也无法预测新产品会在各地区各卖出多少。这项任务最好留给计算机。

为了支持实验驱动的文化，你是否必须聘请不同类型的人才?

我不确定我们是不是请了不一样的人，但的确需要不一样的入职培训。像Facebook、谷歌和Pinterest这样的公司，入职培训是出了名的长。我有朋友在Facebook，他们的新员工要接受整整两个星期的数据培训，让每个人都理解什么样的数据是可用的、如何访问数据、如何充分利用数据支持决策。这种培训需要巨大的投资。

公司是否会过度看重实验，反而拖慢决策?

我们Pinterest内部有过这样的争论。为了避免实验阻碍决策，我们运用“不参与”的方法。比如说你凭直觉觉得给网站做一点改动会有积极作用，你很有自信，那我们不用等上两个星期做对照测试，可以直接让99%的用户体验这种改动，保留1%的用户不接触改动。然后我们评估这99%的用户体验是否优于“不参与”的1%。这种方法让我们能够迅速实现改动，同时也能利用测试验证自己的直觉对不对。

为实验投入的所有这些成本能不能获得相应的回报，你担心吗?

实验的成本相对较高，但我们获得的回报也非常可观，一般都是值得的。比如我们Pinterest进行了几项实验，考察机器学习如何检测违反社区规定的内容。我们建立了一个新的系统，显示对违规内容的检测能力提升了20%。如果没有几十次的对照测试，我们不可能实现这样的改进。比方说，我们开发了新的机器学习技术，识别和隐藏自残内容，让这样的内容在Pinterest上减少，于是去年用户关于此类内容的举报减少了88%。现在如果有人举报自残内容，我们的处理速度会比以前快三倍，这就意味着看到这种内容的人更少了。实验帮助我们做到了这种程度的改进。

对照测试会不会也只是一时的风潮?

我觉得不会。我2004年开始用这种方法，到现在已经15年了。这类技术的力量只会越来越强大。用来进行实验的平台进一步推广，效率更高。我盼望着以后能看到更多公司通过实验做出更多的商业决策。

亚沃尔·波季诺夫(Iavor Bojinov)纪尧姆·圣雅克(Guillaume Saint-Jacques)马丁·廷利(Martin Tingley)|文