EnglishRSSApp/Android客户端iPad客户端Kindle版手机版天猫旗舰店

大数据从科幻变成现实

作者:埃文·奎恩 2012-11-08 17:44:30
 大公司的大数据转变

  美国当代著名小说家艾萨克·阿西莫夫(Isaac Asimov)曾凭借系列科幻小说《基地》(Foundation)获得雨果奖,在书中,主人公哈里·谢顿(Hari Seldon)是一位数学和统计学天才,开辟了一个跨领域的学科——把统计学、社会学和心理学结合在一起创立了“心理历史学”(psychohistory)。利用心理历史学,哈里·谢顿能够用宇宙级的“大数据”分析预知世界文明的未来。

  《基地》的最后一部——第14册《基地与地球》——出版于1986年,在27年后的今天,“心理历史学”不再是科学幻想,而这都是拜“大数据”所赐。

  大公司的大数据转变

  就在最后一部《基地》小说出版的九年之后,世界上有了“雅虎”这个域名,十年之后,拉里·佩奇和谢尔盖·布林在斯坦福大学开始了他们的研究项目——后来在此基础上成立了谷歌。雅虎和谷歌的初衷都是想为索引和搜索大量的数据找到快速的解决方案,正因为如此,直到今日,它们仍然是、也将继续是,大数据领域的巨擘。而它们在大数据领域的贡献大多通过Hadoop平台实现,该平台是由道格·卡汀(Doug Cutting)和他的团队开发,毫不夸张地说,他们就是“哈里·谢顿”。卡汀几年前,作为软件顾问,在雅虎组织开发了Hadoop平台(Hadoop就是以他儿子的一只大象绒毛玩具命名的)。而Hadoop的灵感则是来自于2004-2006年谷歌研发的文件系统MapReduce,谷歌未曾公开该系统的源代码,只是就MapReduce发表了几篇论文,但这就足以让卡汀开发出解决大规模搜索和索引的软件平台。

  卡汀现在已经离开雅虎创立了著名的大数据公司Cloudera,并成为其架构师。和卡汀一样,现在大数据公司的创始人和执行官都是来自于雅虎和谷歌,这两家公司在大数据领域仍然是最活跃的参与者,雅虎的Hadoop以及谷歌的Big Query和Dremel就是最好的例子。

  现在大数据的业务已经从索引和搜索发展到了分析阶段,通过Apache(世界最流行的Web服务器端软件)来运行,这样大数据就可以从需要专业人员操作的特殊工作转换成一般性的操作,并可以用于商业目的。

  那么是不是要放弃现行的商业智能系统(BI)和数据库?答案是否定的。仍然可以把现在的数据库、策略分析、报告和管理控制台整合进入大数据分析。

  事实上,商业智能领域和数据仓库的老牌供应商,比如IBM、甲骨文(Oracle)、赛仕(SAS)和天睿资讯(Teradata)不仅因大数据开始了大量的业务转变,提供一系列的新产品、新合作方式,也正在招募大数据方面的专家,包括商业分析师、工商管理学博士、存储方面的专家和数据科学家。同时,收购分析平台和专业数据库也是一个不错的选择,就像惠普收购了Vertica(该公司的软件能够帮助企业分析海量数据),EMC收购了Greenplum(该公司为全球大型企业用户提供新型企业级数据仓库和企业级数据云),SAP收购了Hana(Hana是软硬件结合体,用户可以直接对大量实时业务数据进行查询和分析,而不需要对数据进行建模、聚合)。

上一页 1 23下一页
相关阅读