EnglishRSSApp/Android客户端iPad客户端Kindle版手机版天猫旗舰店

人人都在鼓吹算法,只可惜80%都用错了

作者:迈克尔·卢卡,乔恩·克莱因伯格,森迪尔·穆莱纳坦 2016-09-06 08:51:42 0

对于大多数管理者,做预测是工作的一部分:HR决定聘用人选,是预测谁工作最出色;营销人员选择分销渠道,是预测产品在哪里最好卖;风险投资人决定是否投资某家初创企业,是预测它能否成功。为做好种种商业预测,越来越多企业现在求助于计算机算法——这种技术能以惊人速度完成超大规模分析过程。

算法能让预测更准确,但也会带来风险,尤其是在我们不理解这些算法的情况下。诸如此类广为人知的例子不胜枚举。

Netflix为了更精确地了解用户看电影的口味,曾拿出100万美元征集内容推荐算法,很多数据科学家组队参赛。然而,这种算法只在用户挑选DVD时能较为准确地推荐,随着Netflix的用户转向在线电影,其偏好与算法的预测结果就会出现偏离。

另一个例子是社交媒体。现在很多社交网站通过算法决定推送哪些广告和链接,如果设计算法时过于侧重点击量,“骗点击”的内容就会充斥网站。虽然点击量上升了,但整体用户满意度可能直线下降。

这类问题可以避免。我们曾帮助各类机构设计、应用算法并开拓新数据源,在此过程中发现,问题根源通常并非算法本身有漏洞,而是使用不当。为避免犯错,管理者须首先了解算法的功能和局限:它能解决哪些问题,不能解决哪些问题。

为何“聪明”算法反误事?

越来越多证据显示,将算法“人格化”更易让人们接受。例如在自动答复系统中,真实人声要比模拟人声的传达效果好。然而根本问题在于,人们通常像对待人类同事一样对待算法和计算机,可算法和人类有两大不同:

算法极其“单纯”。在最新的《复仇者联盟》(Avengers)电影中,钢铁侠托尼·斯塔克(Tony Stark)设计了人工智能防御系统奥创(Ultron)。奥创的任务是保卫地球,但它完全按字面意思解读任务要求,认为拯救地球的最佳方法就是毁灭人类。在很多方面,奥创就像典型的算法,完全按命令行事,不顾及其他问题。如果使用算法时不够谨慎,我们就会遇上麻烦。

社交网站如果突然充斥骗点击内容,就可能是落入了类似陷阱。这些网站目标明确,即提供对用户最有吸引力的内容。在设计算法时,网站管理者将这个目标替换为:找到用户最愿意点击的内容。这个指令逻辑上并不算错,因为人们显然会点击感兴趣的内容。但由于只根据潜在点击量筛选内容,网站迅速充满无聊和带攻击性的内容,导致声誉受损。人们会理解网站管理者希望“最大化优质内容点击量”,而非“即便损害质量也要最大化点击量”;相反,算法则只按字面意思执行指令。

算法是个黑箱。在莎士比亚作品《恺撒大帝》(Julius Caesar)中,一名预言者警告恺撒:“当心3月15日”。这句话意思明确:恺撒最好有所防范。但同时又让人完全无法理解:当心什么?为什么?恺撒对这个信息非常困惑,于是把预言者打发走,宣称:“他是个梦呓者,我们走吧。”最终,3月15日确实是恺撒大帝倒霉的日子,他在这天被刺。问题是预言者提供的是不完整信息,而且没法猜到缺失的是什么,也不知道这条信息有多重要。

和莎翁笔下的预言者一样,算法有时能非常准确地预见未来,但不会告诉你事件背后的原因。算法可以通读《纽约时报》文章,告诉你哪篇在Twitter上会火,但解释不了人们为什么要转发;算法可以告诉你哪位员工最可能成功,但不能告诉你哪种特质对成功最重要。

为更好地管理算法,认识到上述两项局限是第一步。现在我们再看看还需要做什么。

明确所有目标

每个人都有自己的目标和计划,但很少有人会不择手段。为了某些未明言的软性目标,我们会做出权衡取舍:例如为了明天的声誉放弃一部分今天的利益,或为实现组织内部平等付出短期代价。但是,算法只会一门心思追求给定目标。因此在设计算法时,你必须明确想要达到的所有目标。

如果你在意某个软性目标,就要明确指出、清晰定义,并设定其在总体目标中的权重。由于软性目标较难衡量,实施算法所得结论时要特别留意。

谷歌在使用广告展示算法时,就遇到了一个软性问题。哈佛大学教授拉塔尼娅·斯维尼(Latanya Sweeney)在一项研究中发现,如果用谷歌搜索典型黑人名字(如“Latanya Farrell”),会看到调查逮捕记录的广告,而搜索白人名字(如“Kristen Haring”)则不会。为实现广告点击率最大化的目标,谷歌不断调整算法,结果是令姓名带有某些特征的人名誉受损。之所以出现问题,是因为搜索此类姓名的人点击犯罪记录的可能性更大,使犯罪记录出现的更频繁,形成了一个不断自我强化的循环。这大概不是谷歌想看到的,但如果软性目标缺失,算法就无法规避这一结果。

为找到软性目标,我们特别注意给每个人机会说出任何顾虑。我们发现,人们经常通过表达担忧来提出软性目标,所以明确征求意见能促进开放和高质量的讨论。让人们坦率表达观点,把平时私下说的话摆在桌面上,这点很关键。这让很多问题浮出水面,不过我们遇到最多的还是公平问题,以及敏感局面处理问题。

明确核心目标和其他考量后,设计者可以让算法做出权衡取舍。为此,设计者通常须列出多项目标,并按重要性排序。

尽量避免短视

一家受欢迎的快消品公司从中国低价采购,然而销往美国。该公司运用算法预测哪些产品最好卖,销量迅速提升。但良好势头只维持了几个月,消费者开始要求退货。

尽管算法未能成功预测消费者的反应,但惊人的高退货率本可以预见到。公司当然关注质量,但在设计算法时,没有明确将质量设为影响消费者满意度的重要因素,而过于关注销量。调整后的新算法既能准确预测产品销售情况,同时也能预测产品的受欢迎程度和可持续度。公司现在推出的产品在亚马逊等平台上获得极高评价,退货率大幅下降。

这家公司最初设计算法时落入了常见陷阱:算法关注当下掌握的数据,而这些数据通常与短期结果相关,这造成算法本身有短视倾向。在短期利益和长期成功及企业整体目标间可能存在张力,这对于人类不言自明,对算法则不然,除非你明确告诉它。

解决这个问题的方法是,在设置目标时明确定义长期目标。而在按照算法的预测采取行动时,管理者也要考虑算法的建议是否符合长期目标。

过于关注点击量而导致内容质量低劣的网站,其采用的算法也有短视问题。算法根据当下目标(让用户点击链接)推荐内容,却未能考虑更重要的长期目标,即用户满意度和黏性。

市场推广活动同样可能存在短视问题。以服装品牌Gap在谷歌上一次失败的广告宣传为例。依靠谷歌强大的广告算法,Gap网站访问量在短期内剧增。问题在于,Gap的目标是增加销售额,而非增加网站访问量。为实现目标,广告平台可以从合作支付公司等不同渠道收集销售数据,然后将其纳入算法。

此外,网站访问属于短期现象,而市场推广的长期目标则包括品牌形象的下游效应,以及回头生意。完善的相关数据虽然很难找到,但严格的数据审核会很有帮助,因此管理者应完整列出与当前项目相关的内部和外部数据。在与谷歌的合作中,Gap的营销人员可以先列出所有目标,如高销量、低退货率以及顾客好评等,然后给出具体衡量指标,如商品退货量、在线评论和“Gap”一词搜索数等。谷歌的算法随后可以综合考量每项因素的相对重要性,据此给出预测。

选用合适数据源

简言之,要选择合适的数据源,应注意以下两点:

数据应尽可能全面。企业常有的误解,是把大数据看作“大量的数据”,例如从1万名客户扩展到100万名。但这样只理解对了一半。设想你把数据做成表格,每行对应一名客户,那么客户人数即为图表长度;而你掌握的每名客户的情况,即每行中的数据,决定了图表宽度。虽然数据总量能够提升预测准确度,但数据宽度才能让大数据发挥全部威力。做预测最关键的就是信息的全面性。事件的每个新细节都是一条线索,能够补充已掌握的情报。文字记录就是典型的“宽”数据,每个字都可以成为线索。

数据多元性很重要。从上文可以推出,数据应尽可能多元,即各个数据源相关度低。这能让算法的预测能力再上台阶。可以把每组数据看作一个朋友的推荐:如果朋友口味太相似,那么多几个朋友推荐也不太有价值;反之,如果每个朋友视角不同,带来的价值就大得多。

了解算法的局限

知道算法不能告诉你什么和知道它能告诉你什么同样重要。人们很容易受误导,以为某项预测在不同情境下依然成立。算法就是利用已有数据在稍有差异的情境中做预测,这些差异可能包括人员、时间等,对象事件也可能不同。本质上,你在寻求把某项结论移植到另一个情境中。因此聪明的做法是,列出算法可能在新情境中失效的原因,并评估这些潜在原因。例如,某个算法根据外部网站评论和违规历史,预测波士顿哪些餐馆可能违反卫生法规。而换到佛罗里达州的奥兰多,该算法效果可能就没那么好,因为那里天气更热,食品安全问题与波士顿有差别。

同样要记住,相关性不等于因果性。假设某个算法预测,较短的Twitter发言比较长发言转发率高。这绝不是说你应该缩短Twitter发言:这只是一项预测,而非建议。这项预测成立,是因为较短的Twitter发言更可能具备很多其他特征,使之更易被转发,而仅仅缩短你的发言,并不必然满足那些条件,所以不一定能得到更多转发。

eBay曾多年通过谷歌打广告,发现看到广告的人比没看到的人更可能消费。但eBay忽略的是,这些展示次数达数百万的广告,并不必然是人们访问其网站的原因。毕竟,这些广告针对的本来就是eBay用户。为区分相关性和因果性,eBay进行大规模试验,随机选择广告展示对象,结果证明大多数情况下广告不起作用,因为看到广告的人已经知道eBay,无论如何都会在上面消费。

算法有很强预测能力。但在做因果推论时,你必须多加留意,因为算法不能取代对照试验。不过在有些方面,算法能取得惊人成功:发现人类观察不到的细微规律,并利用这些规律形成准确洞察,助力决策。留给我们的课题是:了解算法的风险和局限,并通过高效管理,释放它的巨大潜力。(王晨 |译   蒋荟蓉 |校   时青靖 |编辑)

迈克尔·卢卡是哈佛商学院商业管理助理教授,乔恩·克莱因伯格是康奈尔大学计算机教授,森迪尔·穆莱纳坦是哈佛大学经济学教授。

本文有删节,原文参见《哈佛商业评论》中文版2016年8月《你要管理你的算法》(Algorithms Need Managers, Too)。

关键词:
相关阅读

已有0人发表了评论

哈佛网友评论