尽管每家公司都认识到了数据的力量,但大多数公司都难以释放其全部潜力。问题在于,数据投资必须产生短期价值,同时为快速开发未来用途奠定基础,而数据技术却在以不可预测的方式发展,新的数据类型出现,而且数据量不断上升。
两家全球企业的经验表明了,如今的主流数据策略在应对这些挑战方面是何等无能。第一家公司是一家大型亚太银行,它采取了“大爆炸(big bang)”方法,认为可以同时满足每个分析开发团队和终端用户的需求。公司发起了一个大型项目,建立渠道来提取系统中所有数据,对其进行清理,并汇总到云端的数据湖中,却没有预先多花时间将工作与业务用例协调一致。在花了近三年时间创建新平台后,银行发现只有部分用户,比如寻求原始历史数据进行特别分析的用户,可以轻松使用它。此外,许多潜在应用的关键架构需求也被忽略了,比如针对个性化的客户产品提供实时数据推送。因此,这一项目并没有为公司创造多少价值。
第二家公司是一家大型北美银行,公司让各个团队自己挖掘现有的数据源和系统,然后将业务用例所需的任何额外技术拼合起来。这些团队的确通过解决挑战创造了一些价值,比如改善数字渠道的客户细分,及实现高效的风险报告。但总体上造成个性化数据渠道凌乱不堪,难以重新利用。每个团队都必须从零开始,这使得数字转型工作的代价极其高昂,进展极其缓慢。
那么,如果整体数据策略和基层数据策略都不起作用,正确的做法是什么?
我们发现,企业把数据当作产品时可以获得最大成功。当一家公司开发某种商业产品时,通常会努力创造一种能够尽可能满足各种用户需求的产品,以实现销售最大化。通常,这意味着开发一个基础产品,可以针对不同用户进行定制。汽车制造商就是这样做的,客户可以在标准车型上增添各种特殊选配,真皮内饰、有色车窗、防盗装置等等。同样,数字应用程序通常会让用户自定义仪表盘,包括个性化布局、配色方案和显示内容,或者针对不同用户需求,提供不同方案和价格结构。
企业会不断提升产品,增添新功能(改进发动机以提高汽车燃油效率,或者应用程序的新功能),并且根据用户反馈、性能评估和市场变化推出全新的产品。一直以来,企业都在寻求提高生产效率的方法。只要有可能,他们就会重复利用现有的工艺、机器和部件。比如,汽车制造商会在截然不同的汽车上使用共同的底盘,而应用程序开发人员则重复使用代码块。以大致相同的方式处理数据,可以帮助企业在今天利用数据实现价值与为未来迅速获得更多价值铺平道路之间取得平衡。
在我们的工作中,我们看到,把数据当作产品的公司,可以将数据应用于新用例的时间减少90%,把总的拥有(技术、开发和维护)成本减少30%,并减少风险和数据管理负担。在接下来的文章中,我们将描述什么是数据产品,并概述构建数据产品的最优做法。
何为数据产品?
数据产品可以提供高质量的、随时可用的数据集,大家可以轻易访问并将其应用于不同的业务挑战。比如,它可以提供客户的360度全景图,包括一家公司各业务部门和系统收集的关于客户的所有细节:在线和店内购买行为、人口结构统计信息、付款方式、与客服的互动情况等等。数据产品还可以提供员工或银行分支机构等渠道的360度全景图。另有一种产品可以实现“数字孪生”,利用数据虚拟复制真实世界资产或运作流程,比如关键机械部件或整个工厂生产线的运作。
由于应用众多,数据产品能够产生可观回报。在一家大型国有银行,某一客户数据产品已经支持了近60个用例——从信贷风险的实时评分,到回答客户问题的互动机器人——跨越多个渠道。这些应用已经提供了近6000万美元的增量收入,每年消除了4000万美元的损失。随着产品被应用于新的用例,影响会继续增加。
数据产品位于数据仓库或数据湖等现有运营数据库的顶端。(参见图表“传统的数据消费与数据产品模式”。)使用数据产品的团队不必浪费时间搜索数据,将其处理成正确的格式,并建立个性化的数据集和数据渠道,这样最终会造成架构混乱和管理困难。
每个数据产品都支持具有不同需求的数据“消费者”,就像一款软件产品支持使用不同电脑操作系统的用户一样。这些消费者是系统,不是人,我们的工作表明,企业通常有五种类型。我们称其为“消费原型”,因为它们描绘了数据的用途。这些类型包括:
数字化应用。这些应用需要对特定的已清理、并以必要格式存储的数据——也许是事件流中的单独信息,或者是数据集(针对某一主题、业务功能或团队的数据存储区)中的记录表——并以特定频率进行交付。比如,一款追踪车辆位置的数字应用需要实时访问GPS或传感器数据的事件流;一个旨在发现客户浏览行为趋势的营销应用,需要按需访问数据集市上的大量网络日志数据(通常被称为“批处理”数据)。
高级分析系统。这些系统也需要清理过的数据,并以一定的频率交付,但它的设计必须允许仿真和优化引擎等机器学习与人工智能系统对其进行处理。
报告系统。这些系统需要高度管理的数据(定义明确的数据,在质量、安全和变更方面得到严格管理),以便在基层汇总,并经审核后交付,用于仪表盘或监管与合规活动。通常,数据必须分批交付,但企业越来越多地转向自助服务模式,以及纳入了实时反馈的日内更新。
发现沙盒。这些沙盒能够对原始数据和聚合数据随时进行探索性综合分析。数据科学家和数据工程师,经常使用这些沙盒来深入研究数据并发现新的潜在用例。
外部数据共享系统。这些系统必须遵守严格的政策和协议,涉及数据的地点以及管理和保护的方式。比如,银行利用这些系统分享欺诈案例,而零售商则与供应商共享数据,以期改善供应链。
每种消费原型都需要不同的技术来存储、处理和交付数据,并要求这些技术以特定模式进行组合。该模式实质上是一个架构蓝图,说明必要的技术应该如何结合在一起。比如,某一沙盒模式很可能包括建立一个多用户自助服务环境的技术,全公司的数据工程师都可以访问该环境。对于使用实时数据更新的高级分析系统而言,其模式可以包括处理大量非结构化数据的技术。
就像乐高一样,生来就支持一种或多种消费原型的某一数据产品,可以被快速地组装到所有量级的商业应用中。
下面是一家矿业公司的例子。该公司创建了一个数据产品,提供矿石——运输——卡车位置的实时GPS数据更新。除了不支持外部数据共享的第一个用例——提高矿石加工的产量——之外,这一产品的设计支持所有原型。公司很快发现产品的用途远不止于此。产品在公司内甫一得到更广泛使用,几位有创业精神的员工就立即利用它来消除矿石运输系统中的瓶颈。在短短三天内,他们建立了一个卡车运输线路决策工具的原型,减少了排队时间和碳排放。如果他们必须从头开始设计数据,这会耗费近三个月的时间。
消息不断传播,对涉及卡车的其他问题感兴趣的员工,比如安全、保养和司机调度,都开始深入挖掘数据寻找棘手问题的答案,他们还建立了创收解决方案,这在以前是不可能实现的。
管理并开发数据产品
无论他们销售的是轿车、软件还是运动鞋,大多数公司都会有内部产品经理,专门研究市场需求,制定产品功能路线图,设计产品并营销获利。
同样,每个数据产品都应该有一个指定的产品经理,负责组建一个专家团队来建立、支持产品,并不断改进。经理和专家应该在业务部门内部的一个数据效用小组内。通常,这类小组包括数据工程师、数据架构师、数据建模师、数据平台工程师和网站可靠性工程师。将他们安排进业务部门,让产品团队可以随时接触到业务主题专家,并获得他们所需的运营、流程、法律和风险帮助,来开发有用、合规的数据产品。它还将各团队与用户的反馈直接联系起来,这有助于他们不断改进产品并确定新用途。比如,那家国家银行首次发布的客户数据产品,侧重于客户人口结构统计资料和交易信息。随后发布的产品包括了客户互动和潜在客户方面的数据,吸引了明显更多的数据用户,对开发其他应用的团队予以了支持。产品早期实现的降本增效为后续阶段提供了资金,创造了一种可持续的商业模式。
一家公司还需要一个卓越中心来支持产品团队,并确定在整个企业构建数据产品的标准和最优做法。比如,中心应该界定团队如何记录数据出处,审核数据使用,以及衡量数据质量,而且应该设计消费原型模式,以供数据产品团队使用。这种方法可以消除复杂性和浪费。此外,当效用小组或业务用例团队内对专业人才或数据专家的需求激增时,中心可以成为一种资源。比如,与我们合作的一家电信供应商表示,稀缺而又通常供不应求的计算机视觉专家身处中心枢纽,并会根据要求被部署到业务部门。
虽然多数企业已经拥有部分或全部所需的人才,来建立效用小组和卓越中心,但许多公司需要深化某些专家队伍,尤其是能够清理、转换和汇总数据,以进行分析和探究的数据工程师。
这对那家矿业公司来说尤其如此,它需要将数据工程人员从3人扩充到40人。为了填补这一巨大缺口,公司领导采取了阶梯式方法。他们雇佣了承包商来完成眼前的工作,然后开始了影响长远的招聘工作:举办社交活动,在领英上发表文章,提升在职软件工程师的技能,并与当地学院和大学合作制定实习计划。为了提高留职率,他们为数据工程师创建了一个同业协会,帮助他们培养技能并分享最优做法。这家公司还为数据工程师制定了个性化计划,保障专业人士在加入公司后有一条清晰的成长道路。
跟踪性能与质量
为了解商业产品是否成功,企业会审视客户销售、挽留、参与度、满意度和盈利能力等晴雨表。数据产品可以通过相应的指标进行评估,比如每月活跃用户的数量、整个企业的应用数、用户满意度和用例的投资回报率。
上面提到的电信公司对第一个数据产品——该产品提供了关键蜂窝式网络设备的综合数据——在150个用例中的影响进行了跟踪。它们包括投资决策系统、情景规划系统和网络优化引擎。在三年内,它们总共会产生数亿美元的成本节约及新收入。公司估计,在最初的10年里,这些用例将累积产生50亿美元的财务影响,提供的回报是最初投资的数倍。
就像制造商经常使用质量测试或生产线检查确认产品运行情况,数据产品经理也可以保证产品的数据质量。为了做到这一点,他们必须严格管理数据定义(比如,概述客户数据只包括活跃的客户还是包括以前和潜在的客户)、可用性和访问控制。他们还必须与拥有数据源系统或负责数据完整性的员工紧密合作。后者有时被称为“数据管理员”。
比如,当相同的数据在不同的系统中以不同的方式被采集到时,质量就会受到影响,结果导致重复录入。这是那家国家银行客户数据产品的一个风险。为此,产品经理与公司的各种客户数据存储库和应用程序的管理员合作,为每位客户建立了独一无二的身份ID。这使得客户数据可以无缝融入所有用例,或任何相关数据产品中。产品经理还与卓越中心合作,制定了整个企业的客户数据管理标准和政策,并对合规性进行监督——所有这些都有利于数据产品的重复使用,同时在用户中建立信任。
从何入手
领导者通常会问,哪些数据产品和消费原型会获得最高、最快的投资回报。每家企业的答案都不一样。
为了找到适合自己公司的方法,高管们需要评估每个业务领域(可能是某一核心业务流程、客户或员工的旅程,或某一功能)中用例的可行性和潜在价值,并首先按照需要的数据产品,然后按照涉及的消费原型进行分组。这样对用例分类,可以帮助领导者更高效地安排工作,并获得更快的投资回报。比如,如果他们利用高价值用例的数据产品和消费原型,最终可能会推动一些低价值用例向前发展。
对于上面那家国家银行的高管而言,这种方法让人看到了眼下紧急的几个问题。首先他们看到,支持他们最关键的欺诈管理和营销用例的一种客户数据产品,可以产生巨大价值。然后,他们确定了产品需要首先收集的数据种类。其中一些用例要求基本的客户识别信息和参考数据(比如人口统计信息或细分数据),而另一些则需要全面的客户行为数据。银行还意识到,应该首先关注的两个消费原型是发现沙盒和高级分析,两者结合起来可以支持公司的大多数优先级欺诈与营销用例。
数据产品决策通常会在影响、可行性和速度之间进行权衡。理想情况下,最初的目标产品和消费原型可以很快应用到高价值用例和一长串其他渠道,就像电信供应商针对网络设备的产品那样。
然而,可行性考虑可能会导致公司调整方法。比如,首先在企业中拥有数据专业知识、数据产品已有一定吸引力的领域建立势头可能是有意义的,即使这并不是最大的机遇所在。这种情况就发生在那家矿业公司。它最初选择开发两个支持矿石加工厂的产品,那里的用例已经成功证明,经理们热衷于追求更多,团队有很多现成的数据可以使用,而且有深厚专业知识的专家可以提供帮助。
如今,大多数领导者正在做出重大努力,将数据变为一项竞争优势。可是,如果企业无法保证今天所做的艰苦工作在明天可以重复利用,这些举措就会很快落空。那些像管理产品一样管理数据的公司,将发现自己在未来数年间获得巨大的市场优势,这得归功于速度和灵活性的提升,以及这种方法释放的新机会。
维拉尔·德赛是麦肯锡公司的人工智能QuantumBlack悉尼办事处的高级专家。蒂姆·方丹是麦肯锡公司悉尼办事处的高级合伙人。凯沃恩·罗尚基什是麦肯锡公司纽约办事处的高级合伙人。
维拉尔·德赛(Veeral Desai)
蒂姆·方丹(Tim Fountaine)
凯沃恩·罗尚基什(Kayvaun Rowshankish)| 文
永年 | 译 孙燕 | 校 李源 | 编辑
已有0人发表了评论
哈佛网友评论